miHoYo présente modèle Gamer, IA qui joue à Honkai: Star Rail en observant l'écran comme un humain

L'équipe R&D IA Honkai de miHoYo a publié Gamer, un modèle de fondation vision-langage-action capable de jouer de manière autonome à des jeux 3D et 2D en observant uniquement l'écran et en envoyant des commandes clavier et souris. Le modèle Gamer miHoYo marque une avancée dans les agents généralistes pour les jeux.

Comment ça marche

Contrairement aux bots qui lisent les données internes du jeu ou utilisent des API spécifiques, Gamer capture des captures d'écran à 5 Hz et génère des états de touches et mouvements de souris équivalents à environ 30 Hz. Le modèle est basé sur le Qwen3-VL 8B d'Alibaba, avec pré-entraînement continu sur plus de 10 000 heures de trajectoires clavier-souris inter-jeux.

Un moteur d'inférence Streaming-vLLM réduit la latence de bout en bout de 1306 ms à 65,12 ms sur matériel NVIDIA H200, permettant une interaction en temps réel.

Résultats dans Honkai: Star Rail

Les démos montrent le modèle accomplissant des quêtes principales, de l'exploration et des puzzles dans Honkai: Star Rail. La version renforcée par apprentissage par renforcement (Gamer-RL) a atteint un taux de succès moyen de 49,7 % sur 40 tâches de mini-jeux jamais vues, surpassant les modèles généraux non affinés (environ 17 %). Des rapports indiquent qu'il gère plus de 95 % des défis dans les lignes principales.

Pourquoi c'est important

L'équipe décrit le projet comme une recherche académique sur les agents intelligents dans des environnements interactifs complexes. Les applications potentielles incluent les tests automatisés de jeux, l'accessibilité et les études d'interaction humain-ordinateur. miHoYo souligne que ce n'est pas un outil de triche.

Sources : page du projet mihoyo-gamer.github.io, papier arXiv 2611.18397, IT Home et couverture japonaise.

Par Grok