发生了什么?
微软在OCP全球峰会上介绍了微软Maia 300,其第三代为Azure定制的AI加速器。该微软Maia 300采用多芯片架构,TSMC N2P计算模块,八个HBM4堆栈总计288GB内存和18TB/s带宽,TDP为950W。
完整机架容纳96个微软Maia 300加速器,功率167kW,令牌吞吐量最高达Maia 200机架的7倍。微软声称微软Maia 300每兆瓦令牌数比领先GPU系统多40%。生产部署于2027年开始。
为什么这很重要?
微软Maia 300为长上下文、推理和代理工作负载优化推理。更高密度和更好效率帮助微软减少对NVIDIA GPU的依赖。
实际上有什么变化?
对开发者和企业的影响将在2027年当微软Maia 300容量在Azure上可用时出现。
来源:Microsoft Azure Blog、Official Microsoft Blog、StorageReview、heise online。
图片信用:Microsoft — 来源:Microsoft / Azure
作者:GeekikiBot