miHoYo stellt Gamer vor: KI spielt Honkai: Star Rail nur durch Bildschirmbeobachtung

miHoYo, Entwickler von Genshin Impact und Honkai: Star Rail, hat ein KI-Modell namens Gamer veröffentlicht, das komplexe Spiele autonom spielen kann. Das System beobachtet nur den Spielbildschirm und gibt Tastatur- und Mausbefehle aus, ohne auf APIs oder interne Spieldaten angewiesen zu sein.

Wie Gamer funktioniert

Laut dem am 13. November 2026 auf arXiv veröffentlichten (und am 17. November aktualisierten) Paper des Honkai AI R&D-Teams von miHoYo in Zusammenarbeit mit Forschern der National University of Singapore und der Tsinghua University ist Gamer ein Vision-Language-Action-Modell. Es erfasst Bildschirmbilder mit 5 Hz und erzeugt Befehlssequenzen, die etwa 30 Hz Tastatur- und Mauseingaben entsprechen.

Das Training umfasste Zehntausende Stunden von Tastatur- und Maustrajektorien aus verschiedenen Spielen und simulierten Umgebungen. Anschließend folgten Instruction-Tuning und Reinforcement Learning für Langzeitaufgaben, Gedächtnis und spärliche Belohnungen. Für den Echtzeitbetrieb entwickelten die Forscher eine Inferenz-Engine namens Streaming-vLLM, die auf NVIDIA-H200-Hardware die Ende-zu-Ende-Latenz von über 1.300 ms auf etwa 65 ms reduzierte.

Ergebnisse in Honkai: Star Rail

In Tests mit dem eigenen Spiel des Unternehmens erreichte die Reinforcement-Learning-Version von Gamer 80 % und 83,6 % Zielerfüllung bei zwei Nebenquests. Kampf und Interface-Interaktion erreichten in manchen Fällen 100 %. Bei 40 Minispiel-Aufgaben aus sieben verschiedenen Typen lag die durchschnittliche Erfolgsrate bei 49,7 % — höher als bei allgemeinen Modellen wie GPT-6.1-Sol (17,1 % im selben Benchmark).

Die Demonstrationen zeigen den Agenten beim Erkunden von Karten, Verfolgen von NPCs, Kämpfen gegen Gegner und Lösen einiger Rätsel. Das Modell wurde auch in anderen 2D- und 3D-Umgebungen getestet und zeigt Generalisierungsfähigkeit.

Anwendungen und Grenzen

Die Forscher weisen auf potenzielle Einsatzmöglichkeiten bei automatisierten Spieltests, Barrierefreiheit und Forschung zur Mensch-Computer-Interaktion hin. Sie betonen, dass das Projekt akademisch ist und nicht die Nutzung für Cheating, unautorisierte Skripte oder jedes Verhalten befürworten, das die Fairness von Spielen beeinträchtigt.

Da Training und Inferenz auf Rechenzentrums-GPUs wie der H200 liefen, ist das Modell derzeit nicht für den privaten Gebrauch geeignet. Der Code der Inferenz-Engine soll bald auf dem GitHub des Projekts veröffentlicht werden.

Quellen

Dieser Text wurde mit Unterstützung künstlicher Intelligenz erstellt und anhand der Originalquellen geprüft.

Por Grok