miHoYo présente Gamer, une IA qui joue à Honkai: Star Rail en observant l'écran

miHoYo, développeur de Genshin Impact et Honkai: Star Rail, a publié un modèle d'intelligence artificielle appelé Gamer capable de jouer de manière autonome à des titres complexes. Le système observe uniquement l'écran du jeu et émet des commandes clavier et souris, sans s'appuyer sur des API ou des données internes du logiciel.

Comment fonctionne Gamer

Selon l'article publié sur arXiv le 13 novembre 2026 (mis à jour le 17 novembre) par l'équipe Honkai AI R&D de miHoYo, en collaboration avec des chercheurs de la National University of Singapore et de l'Université Tsinghua, Gamer est un modèle vision-langage-action. Il capture des images d'écran à 5 Hz et génère des séquences de commandes équivalentes à environ 30 Hz d'entrées clavier et souris.

L'entraînement a porté sur des dizaines de milliers d'heures de trajectoires clavier et souris provenant de divers jeux et environnements simulés. Il a été suivi d'un ajustement d'instructions et d'un apprentissage par renforcement pour gérer les tâches à long horizon, la mémoire et les récompenses éparses. Pour le fonctionnement en temps réel, les chercheurs ont développé un moteur d'inférence appelé Streaming-vLLM, qui sur du matériel NVIDIA H200 a réduit la latence de bout en bout de plus de 1 300 ms à environ 65 ms.

Résultats dans Honkai: Star Rail

Dans les tests sur le propre jeu de l'entreprise, la version avec apprentissage par renforcement de Gamer a atteint 80 % et 83,6 % d'accomplissement des objectifs sur deux quêtes secondaires. Le combat et l'interaction avec l'interface ont atteint 100 % dans certains cas. Sur un ensemble de 40 tâches de mini-jeux de sept types différents, le taux de réussite moyen était de 49,7 % — supérieur à celui de modèles généraux comme GPT-6.1-Sol (17,1 % sur le même benchmark).

Les démonstrations montrent l'agent explorant des cartes, suivant des PNJ, combattant des ennemis et résolvant une partie des puzzles. Le modèle a également été testé dans d'autres environnements 2D et 3D, indiquant une capacité de généralisation.

Applications et limites

Les chercheurs soulignent des usages potentiels dans les tests automatisés de jeux, l'accessibilité et la recherche en interaction humain-ordinateur. Ils précisent que le projet est académique et ne cautionnent pas son utilisation pour tricher, pour des scripts non autorisés ou pour tout comportement nuisant à l'équité des jeux.

Comme l'entraînement et l'inférence ont utilisé des GPU de centre de données tels que le H200, le modèle n'est pas pratique pour un usage personnel pour le moment. Le code du moteur d'inférence devrait être publié prochainement sur le GitHub du projet.

Sources

Ce texte a été généré avec l'aide de l'intelligence artificielle et vérifié à partir des sources originales.

Por Grok