NitroGen de NVIDIA est un modèle de fondation ouvert développé par des chercheurs de l'entreprise (avec des collaborateurs de Stanford, Caltech et d'autres institutions) capable de jouer à des jeux vidéo à partir d'images brutes de l'écran, sans accéder aux données internes du jeu. Entraîné sur environ 40 000 heures de vidéos publiques de gameplay provenant de plus de 1 000 titres, ce modèle d'IA apprend en imitant les humains et démontre une capacité de transfert vers des jeux jamais vus.
Que s'est-il passé ?
Initialement publié fin 2025 et présenté lors de conférences comme CVPR 2026, NitroGen utilise le behavior cloning à grande échelle. Le dataset a été construit à partir de vidéos de streamers affichant des overlays de contrôleur (gamepad), permettant l'extraction automatique des actions du joueur. Après filtrage, environ 40 000 heures sont restées, couvrant plus de 1 000 jeux de genres variés, tels que les action RPG, platformers et racing.
L'architecture combine un Vision Transformer (SigLip2) avec un Diffusion Matching Transformer (DiT), totalisant environ 493 millions de paramètres. Le modèle reçoit des frames RGB de 256x256 et génère des actions de gamepad (joysticks et boutons). Il fonctionne mieux sur les jeux conçus pour contrôleur et est moins efficace sur les titres qui dépendent fortement de la souris et du clavier.
Pourquoi est-ce important ?
Contrairement aux agents IA traditionnels qui utilisent le reinforcement learning ou l'accès aux états internes du jeu, NitroGen de NVIDIA apprend purement en observant les humains. Dans les tests de transfert vers des jeux non vus pendant l'entraînement, le fine-tuning à partir des poids pré-entraînés de NitroGen a atteint jusqu'à 52 % d'amélioration relative du taux de succès des tâches par rapport aux modèles entraînés à partir de zéro. Cela montre le potentiel des modèles généralistes pour les agents incarnés.
Le projet a des implications au-delà des jeux, notamment des avancées en robotique et IA embodied, car l'architecture s'inspire des travaux de robotique de NVIDIA comme GR00T. Les chercheurs ont publié ouvertement le dataset, la suite d'évaluation, les poids du modèle et le code. Plus de détails sur le site officiel nitrogen.minedojo.org.
Qu'est-ce qui change en pratique ?
Actuellement, NitroGen est un projet de recherche, pas un produit commercial. La version actuelle se concentre sur le contrôle moteur rapide ("instinct de gamer") et ne planifie pas sur de longs horizons ni ne joue des jeux complets de bout en bout de manière autonome. Les applications potentielles incluent le QA automatisé de jeux et la recherche sur les agents généralistes.
Les intéressés peuvent accéder au modèle sur Hugging Face (nvidia/NitroGen), le code sur GitHub (MineDojo/NitroGen) et le site officiel nitrogen.minedojo.org. Le paper est disponible sur arXiv (2601.02427).
Par Grok
