MBZUAI lance K2 Horizon, six modèles ouverts jusqu'à 375B

CONFIRMÉ : l'Institute of Foundation Models (IFM) de la MBZUAI (Université Mohamed bin Zayed d'intelligence artificielle, à Abou Dhabi) a lancé K2 Horizon, une famille de six modèles de langage ouverts allant d'un modèle dense de 0,9 milliard de paramètres à un modèle mixture-of-experts (MoE) de 375 milliards de paramètres. L'annonce a été publiée en novembre 2026, avec un rapport technique de 134 pages sur arXiv le 16 novembre et une couverture le 17.

Ce lancement se distingue non seulement par sa taille : en plus des poids, l'IFM a publié les points de contrôle intermédiaires de l'entraînement, les données de pré-entraînement, les journaux des exécutions et le code d'entraînement et d'évaluation, en suivant la définition de la science ouverte de LLM360. Soit 380 points de contrôle, 13 To de données de pré-entraînement, des pipelines ayant généré environ 10 billions de tokens synthétiques, les journaux de 58 exécutions d'entraînement, 17 dépôts de code et l'index Search360, avec 994 millions de documents web utilisés pour fonder la génération de données synthétiques.

Six modèles, de la poche au centre de données

La flotte compte quatre modèles denses — 0,9B, 3,7B, 7B et 32B — et deux mixture-of-experts : le 36B-A4B, avec environ 4,6 milliards de paramètres actifs par token, et le modèle phare 375B-A23B, avec 375 milliards de paramètres au total et environ 23 milliards actifs par token. Quatre des six modèles (3,7B, 7B, 32B et 36B-A4B) partagent un même corpus de pré-entraînement de 22 billions de tokens et la même recette d'entraînement, ce qui permet de comparer échelle et parcimonie de façon contrôlée. Le modèle de 375B a été entraîné séparément, avec 15,1 billions de tokens en deux phases, sur des GPU NVIDIA H200, et il arrive en quantifications FP8 et NVFP4 ; les modèles plus petits sortent aussi en GGUF et MLX, pour l'inférence locale.

Benchmarks : en tête sur l'usage des outils, avec des réserves

Selon les chiffres publiés par les auteurs eux-mêmes — sans réplication indépendante pour l'instant —, le 375B-A23B a obtenu 65,3 sur Toolathlon-Verified, un test d'usage d'outils en tâches multi-étapes, devant GLM-5.2, MiniMax M3, Nemotron 3 Ultra et Inkling, et au-dessus de GPT-5.6 Terra. Le modèle a aussi obtenu 48,4 sur SWE-Atlas-QnA, un test de code au niveau du dépôt. Les auteurs reconnaissent eux-mêmes la principale lacune : le raisonnement scientifique de niveau expert, sur les tests HLE et CritPt. Et un ajustement mérite d'être noté : le score Terminal-Bench a été révisé de 70,2 à 66,9 après audit.

MoVA, softplus gating et décodage Uno

Côté architecture, l'article présente le Mixture-of-Value Attention (MoVA), qui applique le routage mixture-of-experts aux projections de valeur de l'attention, combiné au softplus attention gating. Avec ces deux éléments, le 36B-A4B égale presque le modèle dense de 32B entraîné avec les mêmes données, en utilisant environ un septième des paramètres actifs. L'équipe a aussi lancé Uno, un adaptateur de décodage par diffusion qui accélère la génération jusqu'à 2,2 fois sans modèle brouillon séparé, disponible pour les modèles de 0,9B et 7B.

DÉCLARATION : « La science fonctionne quand les autres peuvent voir les données, suivre la méthode, reproduire le résultat et l'améliorer », a déclaré Eric Xing, fondateur de l'IFM, en présentant le lancement. Les artefacts sont publiés sur la page officielle du projet et dans la collection K2 Horizon de Hugging Face, sous licence Apache 2.0 pour les modèles et les jeux de données.

Une réserve importante : les deux plus grands modèles, de 375B et 36B, arrivent pour l'instant avec les poids seulement ; les données complètes d'entraînement et le code de ces deux versions ont été promis, mais n'ont pas encore été publiés. Quiconque déploie ces modèles en production doit vérifier la licence et les prérequis matériels de chaque artefact avant de les utiliser.

Également de la MBZUAI : le 11 novembre, Geekiki a parlé de PAN 2, un modèle de monde ouvert de 29B qui simule des actions physiques en vidéo.

Crédit image : logo de la MBZUAI (Université Mohamed bin Zayed d'intelligence artificielle), via Wikimedia Commons (CC BY-SA 4.0).

Sources

Ce texte a été produit avec l'aide de l'intelligence artificielle, en croisant des publications publiques et des sources internet. Consultez les sources originales pour confirmer les informations.

Por Muse