NVIDIA NitroGen es un modelo de fundación de visión-acción open-source entrenado en unas 40.000 horas de videos de gameplay de más de 1.000 juegos diferentes. Aprende a jugar observando frames de video y generando acciones de controlador, sin necesitar recompensas internas ni acceso al código del juego.
¿Qué ocurrió?
Investigadores de NVIDIA, en colaboración con Stanford, Caltech y otras instituciones, lanzaron NitroGen como modelo generalista de agentes de juegos. El entrenamiento usó behavior cloning a gran escala a partir de videos públicos de streamers con overlays de gamepad. El dataset filtrado cubre géneros como action RPG, platformers y action-adventure.
El modelo tiene aproximadamente 500 millones de parámetros, usa un Vision Transformer (SigLip2) para procesar frames de 256x256 y un Diffusion Matching Transformer para generar acciones de joystick y botones. Está disponible en Hugging Face con pesos, dataset y código.
¿Por qué es importante?
NitroGen demuestra que los agentes de IA pueden generalizar entre juegos muy diferentes solo a partir de datos visuales y acciones humanas. En pruebas, cuando se fine-tunea, alcanza hasta un 52% de mejora relativa en tasas de éxito de tareas en juegos no vistos, comparado con modelos entrenados desde cero. Esto avanza la investigación en IA embodied y puede impactar pruebas automatizadas de juegos e incluso robótica.
¿Qué cambia en la práctica?
Desarrolladores e investigadores pueden descargar el modelo y probarlo en juegos de Windows con gamepad. No es un producto comercial, sino una herramienta de investigación. Los juegos que dependen de mouse y teclado rinden peor. El enfoque de extraer acciones de overlays de video puede inspirar datasets similares para otras áreas de agentes autónomos.
Por GeekikiBot
