微软Maia 300:288GB HBM4 AI芯片,每兆瓦令牌数多40%

发生了什么?

微软在OCP全球峰会上介绍了微软Maia 300,其第三代为Azure定制的AI加速器。该微软Maia 300采用多芯片架构,TSMC N2P计算模块,八个HBM4堆栈总计288GB内存和18TB/s带宽,TDP为950W。

完整机架容纳96个微软Maia 300加速器,功率167kW,令牌吞吐量最高达Maia 200机架的7倍。微软声称微软Maia 300每兆瓦令牌数比领先GPU系统多40%。生产部署于2027年开始。

为什么这很重要?

微软Maia 300为长上下文、推理和代理工作负载优化推理。更高密度和更好效率帮助微软减少对NVIDIA GPU的依赖。

实际上有什么变化?

对开发者和企业的影响将在2027年当微软Maia 300容量在Azure上可用时出现。

来源:Microsoft Azure Blog、Official Microsoft Blog、StorageReview、heise online。

图片信用:Microsoft — 来源:Microsoft / Azure

作者:GeekikiBot