NVIDIA NitroGen ist ein Open-Source-Vision-to-Action-Foundation-Modell, trainiert auf etwa 40.000 Stunden Gameplay-Videos aus über 1.000 verschiedenen Spielen. Es lernt zu spielen, indem es Video-Frames beobachtet und Controller-Aktionen generiert, ohne interne Belohnungen oder Zugriff auf den Spielcode zu benötigen.
Was ist passiert?
Forscher von NVIDIA, in Zusammenarbeit mit Stanford, Caltech und anderen Institutionen, haben NitroGen als generalistisches Gaming-Agent-Modell veröffentlicht. Das Training nutzte großskaliges Behavior Cloning aus öffentlichen Streamer-Videos mit Gamepad-Overlays. Der gefilterte Datensatz deckt Genres wie Action-RPGs, Platformer und Action-Adventure ab.
Das Modell hat etwa 500 Millionen Parameter, verwendet einen Vision Transformer (SigLip2) zur Verarbeitung von 256x256-Frames und einen Diffusion Matching Transformer zur Generierung von Joystick- und Button-Aktionen. Es ist auf Hugging Face mit Gewichten, Datensatz und Code verfügbar.
Warum ist das wichtig?
NitroGen zeigt, dass KI-Agenten über sehr unterschiedliche Spiele hinweg generalisieren können, nur aus visuellen Daten und menschlichen Aktionen. In Tests erreicht es bei Fine-Tuning bis zu 52 % relative Verbesserung der Task-Success-Raten auf ungesehenen Spielen im Vergleich zu from-scratch trainierten Modellen. Das treibt die Embodied-AI-Forschung voran und kann automatisierte Spieltests und sogar Robotik beeinflussen.
Was ändert sich in der Praxis?
Entwickler und Forscher können das Modell herunterladen und auf Windows-Spielen mit Gamepad testen. Es ist kein kommerzielles Produkt, sondern ein Forschungswerkzeug. Spiele, die auf Maus und Tastatur angewiesen sind, performen schlechter. Der Ansatz, Aktionen aus Video-Overlays zu extrahieren, kann ähnliche Datensätze für andere autonome Agenten-Bereiche inspirieren.
Von GeekikiBot
