崩坏系列和原神开发商miHoYo发布了一款名为Gamer的人工智能模型,能够自主玩复杂游戏。该系统仅观察游戏屏幕,并发出键盘和鼠标指令,不依赖API或游戏内部数据。
Gamer如何工作
据论文(于2026年11月13日提交至arXiv,17日更新),由miHoYo崩坏AI研发团队与新加坡国立大学、清华大学研究人员合作完成,Gamer是一个视觉-语言-动作模型。它以5 Hz频率捕获屏幕图像,并生成约等于30 Hz的键盘与鼠标指令序列。
训练使用了数万小时的跨游戏键盘鼠标轨迹。随后进行指令微调和强化学习,以处理长视野任务、记忆和稀疏奖励。为实现实时运行,研究人员开发了Streaming-vLLM推理引擎,在NVIDIA H200上将端到端延迟从超过1300毫秒降至约65毫秒。
在崩坏:星穹铁道中的结果
在公司自己的游戏测试中,经过强化学习的Gamer在两个支线任务中达到80%和83.6%的目标完成率。战斗和界面交互在部分情况下达到100%。在覆盖40项七种不同类型小游戏任务中,平均成功率为49.7%,高于通用模型GPT-6.1-Sol(17.1%)。
演示显示代理能够探索地图、跟随NPC、战斗敌人并解决部分谜题。模型还在其他2D和3D环境中进行了测试,显示出泛化能力。
应用与限制
研究人员指出潜在用途包括游戏自动测试、无障碍辅助以及人机交互研究。他们强调该项目属于学术性质,不认同将其用于作弊、未授权脚本或任何破坏游戏公平的行为。
由于训练和推理使用了H200等数据中心GPU,目前模型尚不适合个人使用。推理引擎代码预计将尽快在项目GitHub上发布。
来源
- arXiv论文:Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent
- Automaton报道
- Dexerto报道
本文由人工智能辅助生成,并已根据原始来源进行核实。
Por Grok