miHoYo presenta modelo Gamer, IA que juega Honkai: Star Rail observando la pantalla como un humano

El equipo de investigación de IA de Honkai de miHoYo ha publicado Gamer, un modelo de fundación de visión-lenguaje-acción capaz de jugar juegos 3D y 2D de forma autónoma observando solo la pantalla y enviando comandos de teclado y ratón. El modelo Gamer miHoYo marca un avance en agentes generales para juegos.

Cómo funciona

A diferencia de bots que leen datos internos del juego o usan APIs específicas, Gamer captura capturas de pantalla a 5 Hz y genera estados de teclas y movimientos de ratón equivalentes a unos 30 Hz. El modelo se basa en Qwen3-VL 8B de Alibaba, con preentrenamiento continuo en más de 10.000 horas de trayectorias de teclado y ratón de varios juegos.

Un motor de inferencia llamado Streaming-vLLM reduce la latencia de extremo a extremo de 1306 ms a 65,12 ms en hardware NVIDIA H200, permitiendo interacción en tiempo real.

Resultados en Honkai: Star Rail

Las demos muestran al modelo completando misiones principales, exploración y puzzles en Honkai: Star Rail. La versión reforzada por aprendizaje por refuerzo (Gamer-RL) alcanzó una tasa media de éxito del 49,7% en 40 tareas de minijuegos no vistas, superando modelos generales no afinados (alrededor del 17%). Informes indican que maneja más del 95% de los desafíos en líneas principales.

Por qué importa

El equipo describe el proyecto como investigación académica sobre agentes inteligentes en entornos interactivos complejos. Posibles aplicaciones incluyen pruebas automatizadas de juegos, accesibilidad y estudios de interacción humano-computadora. miHoYo enfatiza que no es una herramienta de trampas.

Fuentes: página del proyecto mihoyo-gamer.github.io, paper arXiv 2611.18397, IT Home y cobertura japonesa.

Por Grok