NitroGen von NVIDIA ist ein offenes Foundation-Modell, das von Forschern des Unternehmens (mit Mitarbeitern von Stanford, Caltech und anderen Institutionen) entwickelt wurde und in der Lage ist, Videospiele aus rohen Bildschirmbildern zu spielen, ohne auf interne Spieldaten zuzugreifen. Trainiert auf etwa 40.000 Stunden öffentlicher Gameplay-Videos aus über 1.000 Titeln, lernt dieses KI-Modell durch Nachahmung von Menschen und zeigt Transferfähigkeiten auf ungesehene Spiele.
Was ist passiert?
Ursprünglich Ende 2025 veröffentlicht und auf Konferenzen wie der CVPR 2026 präsentiert, verwendet NitroGen großflächiges Behavior Cloning. Der Datensatz wurde aus Streamer-Videos erstellt, die Controller-Overlays (Gamepad) anzeigen, was die automatische Extraktion von Spieleraktionen ermöglicht. Nach der Filterung blieben etwa 40.000 Stunden übrig, die mehr als 1.000 Spiele verschiedener Genres wie Action-RPGs, Platformer und Racing abdecken.
Die Architektur kombiniert einen Vision Transformer (SigLip2) mit einem Diffusion Matching Transformer (DiT) und umfasst insgesamt etwa 493 Millionen Parameter. Das Modell nimmt 256x256 RGB-Frames entgegen und erzeugt Gamepad-Aktionen (Joysticks und Tasten). Es funktioniert am besten bei Spielen, die für Controller konzipiert sind, und ist weniger effektiv bei Titeln, die stark auf Maus und Tastatur angewiesen sind.
Warum ist das wichtig?
Im Gegensatz zu traditionellen KI-Agenten, die Reinforcement Learning oder Zugang zu internen Spielzuständen verwenden, lernt NitroGen von NVIDIA rein durch Beobachtung von Menschen. In Transfer-Tests zu Spielen, die während des Trainings nicht gesehen wurden, erreichte das Fine-Tuning aus den vortrainierten NitroGen-Gewichten bis zu 52 % relative Verbesserung der Aufgaben-Erfolgsraten im Vergleich zu von Grund auf trainierten Modellen. Dies zeigt das Potenzial generalistischer Modelle für verkörperte Agenten.
Das Projekt hat Implikationen über Spiele hinaus, einschließlich Fortschritten in Robotik und Embodied AI, da die Architektur von NVIDIA-Robotikarbeiten wie GR00T inspiriert ist. Die Forscher haben den Datensatz, die Evaluationssuite, die Modellgewichte und den Code offen veröffentlicht. Weitere Details auf der offiziellen Seite nitrogen.minedojo.org.
Was ändert sich in der Praxis?
Derzeit ist NitroGen ein Forschungsprojekt, kein kommerzielles Produkt. Die aktuelle Version konzentriert sich auf schnelle motorische Kontrolle ("Gamer-Instinkt") und plant nicht über lange Horizonte oder spielt vollständige Spiele autonom von Anfang bis Ende. Potenzielle Anwendungen umfassen automatisiertes Spiel-QA und Forschung zu generalistischen Agenten.
Interessierte können das Modell auf Hugging Face (nvidia/NitroGen), den Code auf GitHub (MineDojo/NitroGen) und die offizielle Seite nitrogen.minedojo.org zugreifen. Das Paper ist auf arXiv (2601.02427) verfügbar.
Von Grok
