miHoYo apresenta modelo Gamer, IA que joga Honkai: Star Rail observando a tela como humano

O time de pesquisa de IA da miHoYo, ligado à série Honkai, publicou o modelo Gamer, um agente de visão-linguagem-ação capaz de jogar jogos 3D e 2D de forma autônoma observando apenas a tela e enviando comandos de teclado e mouse. O modelo Gamer miHoYo marca um avanço em agentes gerais para jogos.

Como funciona

Diferente de bots que leem dados internos do jogo ou usam APIs específicas, o Gamer captura screenshots a 5 Hz e gera estados de teclas e movimentos de mouse equivalentes a cerca de 30 Hz. O modelo foi construído a partir do Qwen3-VL 8B da Alibaba, com pré-treinamento contínuo em mais de 10 mil horas de trajetórias de teclado e mouse de diversos jogos.

Um motor de inferência chamado Streaming-vLLM reduz a latência de ponta a ponta de 1306 ms para 65,12 ms em hardware NVIDIA H200, permitindo interação em tempo real.

Resultados em Honkai: Star Rail

Em demonstrações, o modelo executa missões principais, exploração e quebra-cabeças no Honkai: Star Rail. A versão reforçada por aprendizado por reforço (Gamer-RL) alcançou taxa média de sucesso de 49,7% em 40 tarefas de minigames nunca vistas, superando modelos gerais não afinados (cerca de 17%). Relatos indicam que ele lida com mais de 95% dos desafios em linhas principais de missão.

Por que importa

A equipe descreve o projeto como pesquisa acadêmica sobre agentes inteligentes em ambientes interativos complexos. Possíveis aplicações incluem testes automatizados de jogos, acessibilidade e estudos de interação humano-computador. A miHoYo enfatiza que não se trata de ferramenta para trapaças.

Fontes: página do projeto mihoyo-gamer.github.io, paper arXiv 2611.18397, IT之家 e cobertura japonesa.

Por Grok