MBZUAI startet K2 Horizon: sechs offene Modelle bis 375B

BESTÄTIGT: Das Institute of Foundation Models (IFM) der MBZUAI (Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi) hat K2 Horizon veröffentlicht, eine Familie von sechs offenen Sprachmodellen – von einem dichten Modell mit 0,9 Milliarden Parametern bis zu einem Mixture-of-Experts-Modell (MoE) mit 375 Milliarden Parametern. Die Ankündigung erschien im November 2026, mit einem 134-seitigen technischen Bericht auf arXiv am 16. November und Berichterstattung am 17. November.

Die Veröffentlichung sticht nicht nur durch ihre Größe hervor: Neben den Gewichten hat das IFM die Zwischen-Checkpoints des Trainings, die Pre-Training-Daten, die Trainingsprotokolle sowie den Trainings- und Evaluierungscode veröffentlicht, gemäß der Open-Science-Definition von LLM360. Das sind 380 Checkpoints, 13 TB Pre-Training-Daten, Pipelines, die rund 10 Billionen synthetische Tokens erzeugt haben, Protokolle von 58 Trainingsläufen, 17 Code-Repositories und der Search360-Index mit 994 Millionen Webdokumenten, die der Generierung synthetischer Daten zugrunde liegen.

Sechs Modelle, von der Tasche bis ins Rechenzentrum

Die Flotte umfasst vier dichte Modelle — 0,9B, 3,7B, 7B und 32B — sowie zwei Mixture-of-Experts-Modelle: das 36B-A4B mit etwa 4,6 Milliarden aktiven Parametern pro Token und das Flaggschiff 375B-A23B mit insgesamt 375 Milliarden Parametern und etwa 23 Milliarden aktiven Parametern pro Token. Vier der sechs Modelle (3,7B, 7B, 32B und 36B-A4B) teilen sich einen einzigen Pre-Training-Korpus von 22 Billionen Tokens und dasselbe Trainingsrezept, was kontrollierte Vergleiche von Skalierung und Sparsamkeit ermöglicht. Das 375B-Modell wurde separat trainiert, mit 15,1 Billionen Tokens in zwei Phasen auf NVIDIA-H200-GPUs, und erscheint in FP8- und NVFP4-Quantisierungen; die kleineren Modelle gibt es auch als GGUF- und MLX-Builds für lokale Inferenz.

Benchmarks: führend beim Tool-Einsatz, mit Vorbehalten

Nach den von den Autoren selbst veröffentlichten Zahlen – bislang ohne unabhängige Replikation – erreichte das 375B-A23B 65,3 Punkte bei Toolathlon-Verified, einem mehrstufigen Tool-Use-Test, vor GLM-5.2, MiniMax M3, Nemotron 3 Ultra und Inkling sowie vor GPT-5.6 Terra. Das Modell erreichte zudem 48,4 Punkte bei SWE-Atlas-QnA, einem Coding-Test auf Repository-Ebene. Die Autoren selbst benennen die größte Lücke: wissenschaftliches Schlussfolgern auf Expertenniveau, in den Tests HLE und CritPt. Und eine Korrektur ist festzuhalten: Der Terminal-Bench-Wert wurde nach einem Audit von 70,2 auf 66,9 nach unten korrigiert.

MoVA, Softplus-Gating und Uno-Decoding

Auf der Architekturseite stellt das Paper Mixture-of-Value Attention (MoVA) vor, das Mixture-of-Experts-Routing auf die Value-Projektionen der Attention anwendet, kombiniert mit Softplus-Attention-Gating. Mit beiden Techniken erreicht das 36B-A4B fast das dichte 32B-Modell, das mit denselben Daten trainiert wurde, bei nur etwa einem Siebtel der aktiven Parameter. Das Team veröffentlichte außerdem Uno, einen Diffusions-Decoding-Adapter, der die Generierung bis zu 2,2-mal beschleunigt, ohne ein separates Draft-Modell – verfügbar für die 0,9B- und 7B-Modelle.

AUSSAGE: „Wissenschaft funktioniert, wenn andere die Daten sehen, der Methode folgen, das Ergebnis reproduzieren und es verbessern können“, sagte Eric Xing, Gründer des IFM, bei der Vorstellung der Veröffentlichung. Die Artefakte sind auf der offiziellen Projektseite und in der K2 Horizon-Sammlung auf Hugging Face veröffentlicht, unter der Apache-2.0-Lizenz für Modelle und Datensätze.

Ein wichtiger Vorbehalt: Die beiden größten Modelle, 375B und 36B, erscheinen vorerst nur mit den Gewichten; die vollständigen Trainingsdaten und der Code dieser beiden Versionen wurden versprochen, aber noch nicht veröffentlicht. Wer die Modelle produktiv einsetzen will, sollte vorab Lizenz und Hardware-Anforderungen des jeweiligen Artefakts prüfen.

Ebenfalls von der MBZUAI: Am 11. November berichtete Geekiki über PAN 2, ein 29B-Open-World-Modell, das physikalische Aktionen in Videos simuliert.

Bildnachweis: Logo der MBZUAI (Mohamed bin Zayed University of Artificial Intelligence), via Wikimedia Commons (CC BY-SA 4.0).

Quellen

Dieser Text wurde mit Hilfe künstlicher Intelligenz erstellt und stützt sich auf öffentliche Veröffentlichungen und Internetquellen. Bitte konsultieren Sie die Originalquellen, um die Informationen zu bestätigen.

Por Muse