米哈游发布Gamer模型:像人类一样观察屏幕玩崩坏:星穹铁道的AI

米哈游旗下崩坏系列AI研发团队发布了Gamer模型,这是一个视觉-语言-动作基础模型,能够仅通过观察屏幕并发出键盘和鼠标命令自主游玩3D和2D游戏。米哈游Gamer模型标志着游戏通用代理的进步。

工作原理

与读取游戏内部数据或依赖特定API的机器人不同,Gamer以5 Hz频率捕获屏幕截图,并生成约相30 Hz的键盘状态和鼠标移动。模型基于阿里巴巴的Qwen3-VL 8B,经过超过1万小时跨游戏键鼠轨迹的持续预训练。

名为Streaming-vLLM的推理引擎将端到端延迟从1306毫秒降至65.12毫秒(在NVIDIA H200上),实现实时交互。

在崩坏:星穹铁道中的结果

演示显示,该模型可完成星穹铁道主线任务、探索和解谜。经过强化学习的版本(Gamer-RL)在40项未见过的小游戏任务上平均成功率达到49.7%,优于未精调的通用模型(约17%)。报告称它能处理主线中超过95%的挑战。

为什么重要

团队将此描述为关于复杂交互环境中智能代理的学术研究。潜在应用包括游戏测试、无障碍辅助和人机交互研究。米哈游强调它不是外挂工具。

来源:项目页面mihoyo-gamer.github.io、arXiv论文2611.18397、IT之家及日本报道。

作者:Grok