MBZUAI发布K2 Horizon:六款开放模型高达375B

已确认:阿布扎比穆罕默安德·本·扎伊德人工智能大学(MBZUAI)基础模型研究所(IFM)发布了K2 Horizon——一系列六款开放语言模型,从0.9B参数的密集模型到375B参数的混合专家(MoE)模型。该发布于2026年11月公布,134页技术报告于11月16日登陆arXiv,11月17日引发报道。

本次发布的亮点不仅在于规模:除权重外,IFM还公布了训练中间检查点、预训练数据、训练运行记录以及训练与评测代码,遵循LLM360的开放科学定义。其中包括380个检查点、13 TB预训练数据、生成约10万亿合成token的数据管道、58次训练运行记录、17个代码仓库,以及包含9.94亿网页文档的Search360索引,用于支撑合成数据生成。

六款模型,从口袋到数据中心

该系列包含四款密集模型——0.9B、3.7B、7B和32B——以及两款混合专家模型:36B-A4B(每个token约激活4.6B参数)和旗舰模型375B-A23B(总参数357B,每个token约激活23B参数)。六款模型中的四款(3.7B、7B、32B和36B-A4B)共享同一个22万亿token的预训练语料和相同训练方案,便于对规模与稀疏性进行受控比较。375B模型独立训练,分两阶段使用15.1万亿token,在NVIDIA H200 GPU上完成,提供FP8和NVFP4量化版本;较小模型也提供GGUF和MLX版本,支持本地推理。

基准测试:工具使用领先,但有保留

根据作者本人公布的数据(尚未经独立复现验证),375B-A23B在Toolathlon-Verified中得分65.3,这是一项多步骤工具使用测试,领先于GLM-5.2、MiniMax M3、Nemotron 3 Ultra和Inkling,并超过GPT-5.6 Terra。该模型在代码仓库级测试SWE-Atlas-QnA中得分为48.4。作者本人也承认主要短板在专家级科学推理方面(HLE和CritPt测试)。另有一处修订值得记录:Terminal-Bench得分经审计后申70.2下调至66.9。

MoVA、softplus门控与Uno解码

架构方面,论文提出了混合价值注意力(MoVA),将混合专家路由应用于注意力的价值投射,并结合softplus注意力门控。借助这两项技术,36B-A4B在使用约七分之一激活参数的情况下,性能接近使用相同数据训练的32B密集模型。团队还发布了Uno——一种扩散解码适配器,在无需独立草稿模型的情况下将生成速度提升最高2.2倍,适用于0.9B和7B模型。

声明:IFM创始人Eric Xing在发布时表示:“当他人能看到数据、遵循方法、复现结果并加以改进时,科学才真正运行。”相关成果已发布在项目官方页面和Hugging Face的K2 Horizon合集中,模型与数据集均采用Apache 2.0许可。

一处重要保留:两款最大的模型(375B和36B)目前仅提供权重;这两个版本的完整训练数据与代码已承诺公布,但尚未发布。计划在生产环境中使用这些模型的用户,应先核对各成果的许可条款与硬件需求。

同样来自MBZUAI:11月11日,Geekiki报道了PAN 2,一款29B开放世界模型,可模拟视频中的物理动作。

图片来源:MBZUAI(穆罕默安德·本·扎伊德人工智能大学)标志,来自Wikimedia Commons(CC BY-SA 4.0)。

来源

本文在人工智能的协助下完成,综合了公开报道和网络来源。请查阅原始来源以确认相关信息。

Por Muse