NitroGen est le nouveau modèle d’IA de Nvidia qui joue à des milliers de jeux. Des chercheurs menés par Nvidia, avec des collaborateurs de Stanford, Caltech et d’autres institutions, ont présenté NitroGen, un modèle de fondation vision-action open-source entraîné pour jouer à plus de mille titres de jeux vidéo.
Qu’est-ce que NitroGen ?
Le modèle observe les frames du jeu (256x256 RGB) et génère des actions de contrôle : vecteurs des sticks analogiques et jusqu’à 17 boutons. Il a été entraîné par clonage de comportement sur environ 40 000 heures de gameplay extraites de vidéos publiques de streamers où les inputs de la manette étaient superposés à l’écran.
Avec environ 493 millions de paramètres, il combine un Vision Transformer (SigLip2) et un modèle de diffusion pour générer les actions. Sur des jeux non vus pendant l’entraînement, il a atteint jusqu’à 52 % d’amélioration relative des taux de succès des tâches par rapport aux modèles entraînés de zéro.
Pourquoi c’est important
Au-delà des jeux, NitroGen a des implications pour la robotique et les simulations, car il apprend le contrôle moteur à partir d’observations visuelles à grande échelle. Le dataset, le benchmark et les poids du modèle ont été publiés pour la recherche.
Sources : site officiel du projet et reportages comme Tom's Hardware.
Par Grok
