Das Honkai AI R&D-Team von miHoYo hat Gamer veröffentlicht, ein Vision-Language-Action-Grundmodell, das autonom 3D- und 2D-Spiele spielen kann, indem es nur den Bildschirm beobachtet und Tastatur- und Mausbefehle sendet. Das miHoYo Gamer Modell markiert einen Fortschritt bei allgemeinen Agenten für Spiele.
Wie es funktioniert
Im Gegensatz zu Bots, die interne Spieldaten lesen oder spielspezifische APIs nutzen, erfasst Gamer Screenshots mit 5 Hz und generiert Tastenzustände und Mausbewegungen, die etwa 30 Hz entsprechen. Das Modell basiert auf Alibabas Qwen3-VL 8B, mit fortgesetztem Vortraining auf über 10.000 Stunden von Cross-Game-Tastatur- und Maustrajektorien.
Eine Streaming-vLLM-Inferenz-Engine reduziert die End-to-End-Latenz von 1306 ms auf 65,12 ms auf NVIDIA H200-Hardware und ermöglicht Echtzeit-Interaktion.
Ergebnisse in Honkai: Star Rail
Demos zeigen das Modell bei der Erfüllung von Hauptquests, Erkundung und Rätseln in Honkai: Star Rail. Die durch Reinforcement Learning verstärkte Version (Gamer-RL) erreichte eine durchschnittliche Erfolgsrate von 49,7 % bei 40 zuvor ungesehenen Minispiel-Aufgaben und übertraf ungetunte allgemeine Modelle (etwa 17 %). Berichte deuten darauf hin, dass es über 95 % der Herausforderungen in Hauptstorylines bewältigt.
Warum es wichtig ist
Das Team beschreibt das Projekt als akademische Forschung zu intelligenten Agenten in komplexen interaktiven Umgebungen. Mögliche Anwendungen umfassen automatisierte Spieletests, Barrierefreiheit und Studien zur Mensch-Computer-Interaktion. miHoYo betont, dass es kein Cheat-Tool ist.
Quellen: Projektseite mihoyo-gamer.github.io, arXiv-Paper 2611.18397, IT Home und japanische Berichterstattung.
Von Grok