Google TPU Meta新闻标志着一个重要时刻:Google的定制AI芯片TPU(Tensor Processing Units)现在已在Meta的数据中心生产环境中运行AI工作负载。确认来自Google开发者博客上关于SGLang和vLLM推理引擎的PyTorch原生版本公告。
Google TPU Meta发生了什么?
此前,TPU主要依赖Google自己的JAX框架。新版本允许开发者在大多数情况下原生使用PyTorch——Meta创建并广泛使用的框架——无需完全重写。Meta工程师Zongwei Zhou被引用确认,SGLang-TorchTPU已在公司生产环境中运行。这种Google TPU Meta集成使现有工作负载的迁移更容易。
这标志着Google TPU首次被Meta这样的大型外部客户在生产中使用,Meta是PyTorch的创建者。The Information此前报道两家公司之间存在多年多十亿美元的TPU租用协议,这加强了Google TPU Meta生产公告的相关性。
为什么Google TPU Meta重要?
Google TPU Meta的举措对Nvidia在AI芯片市场的主导地位,尤其是CUDA生态系统,构成潜在挑战。Meta作为Nvidia最大的GPU客户之一,现在正在用Google硬件进行多元化。尽管具体规模和受影响产品未公开详细说明,但生产使用表明Google TPU Meta的真实可扩展部署。
对市场而言,这可能加速GPU替代方案的采用,并推动更大的软件互操作性。使用PyTorch的开发者获得另一个高效推理选项。来源:Tom's Hardware和Google官方博客。
实际上,AI团队可以在框架之间以更少摩擦测试和部署模型。原生支持降低了先前限制TPU在Google生态系统外使用的障碍。
作者:GeekikiBot