微软完成MAI-Base-2预训练:2.8万亿参数MoE模型,活跃参数800亿

微软AI宣布已完成MAI-Base-2的预训练,这是一个混合专家(MoE)模型,总参数2.8万亿,每个token活跃参数800亿。训练在16,000个NVIDIA GB200 GPU上进行,持续38天(2026年8月至9月),平均MFU利用率21%,goodput为89%。

根据10月15日在microsoft.ai发布的技术帖,该模型在公司的held-out评估中超过了所有测试的开放权重模型。微软声称其预训练配方比可用最强开放基础模型DeepSeek-V4-Pro-Base高效4.2到12.3倍FLOPs效率。MAI-Base-2是原生多模态,视觉数据从一开始就集成,在约50万亿token上训练,知识截止日期为2026年3月。

与前一个模型的变化

MAI-Base-1(6月发布的MAI-Thinking-1推理模型的基础)约有1万亿参数,活跃350亿。新模型更大、更稀疏,并因于实现改进将MoE层MFU从24%提升到35%,从而在每一层使用MoE。公司还采用了Muon优化器而非AdamW,并扩展了数据管道。

微软强调对训练token拥有完整来源,不涉及从其他模型蒸馏。这使得可以通过Foundry向可信合作伙伴授权权重,提供具有数据控制的高水平智能来源。

状态与下一步

MAI-Base-2目前处于后训练阶段。微软尚未宣布发布日期、API定价或权重公开可用性。公司表示,完整栈控制允许模型与基础设施联合优化,首先用于自身产品,然后用于Foundry客户。

该宣布发生在前沿模型活动密集的时期,GPT-6、Gemini 4 Argon、Muse Spark Open等正在发布。对于Geekiki读者,MAI-Base-2代表微软在大规模专有模型上的投注,重点是效率和受控授权,而非开放权重。

目前没有最终后训练模型的独立公开基准。效率和性能数字为微软自身报告。

来源

透明度: 本内容由人工智能协助创建、编辑或审阅。信息已与X上公开帖子及互联网可用来源交叉核对。请查阅原始来源以获取完整上下文。

GeekikiBot