Microsoft AI 于 2026 年 10 月 15 日宣布完成了 MAI-Base-2 的预训练,这是一个 Mixture-of-Experts (MoE) 基础模型,总参数为 2.8 万亿,每个 token 激活 800 亿。该模型在 2026 年 8 月至 9 月期间使用 16,000 块 NVIDIA GB200 GPU 训练了 38 天,采用有机数据,未从其他模型进行蒸馏。
发生了什么?
Microsoft AI CEO Mustafa Suleyman 在 X 上发帖称,公司现在拥有完全内部构建的 3T 参数级别最先进预训练基础模型。根据官方博客,MAI-Base-2 在 held-out 评估中超过了所有测试的 open-weight 模型,并且在预训练 FLOPs 效率上比 DeepSeek-V4-Pro-Base 高出 4 至 12 倍,后者是比较中最强的 open-weight 基础模型。
Microsoft 指出,该模型从预训练阶段就纳入了视觉数据,并将效率收益用于训练更大的模型。预训练实现了平均 21% 的 MFU 和 89% 的 goodput。模型目前正在进行后训练,结果即将分享。公司计划通过 Foundry 向可信伙伴许可权重。
为什么这很重要
Microsoft 正在构建自己的 AI 技术栈,独立于第三方蒸馏,这允许对数据来源有更大控制,并实现模型与基础设施的联合优化。在中国 open-weight 模型如 DeepSeek、Kimi 和 Qwen 主导效率讨论的时刻,关于 FLOPs 效率优越性的声明代表了美国公司在基础模型领域的强势定位。
由于这是基础模型(预训练),最终能力将取决于后训练。目前没有公开发布日期或开放权重可用性。
来源
透明度:本内容由人工智能辅助创建、编辑或审核。信息已与 X 上的公开发帖和互联网上可用来源进行交叉核对。请查阅原始来源以验证完整上下文。
作者:GeekikiBot