miHoYo发布Gamer:通过观看屏幕玩崩坏:星穹铁道的AI

miHoYo的Honkai AI R&D Team在arXiv上发布了论文《Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent》。该模型通过观察屏幕并发出键盘鼠标指令来游戏,无需直接访问游戏内存或内部API。

Gamer基于数万小时的真实键鼠交互训练。管线包括继续预训练、稀疏思考指令调优和多轮强化学习。Streaming-vLLM推理引擎将延迟降至NVIDIA H200上约65毫秒,实现实时控制。

在崩坏:星穹铁道中的结果

在未见过的支线任务上:

  • “Opportunity Makes the Thief (Part I)”:80.0%里程碑达成。
  • “Bestial Ferocity”:83.6%里程碑达成。

在40项七种小游戏任务的基准测试中,Gamer-RL平均成功率49.7%,而GPT-6.1-Sol为17.1%。该模型还在ViZDoom等其他游戏基准上进行了评估。

研究人员指出潜在应用包括自动游戏测试、无障碍访问和通用代理研究。他们表示该项目为学术性质,不赞成用于作弊或漏洞利用。仅发布了通用预训练权重;星穹铁道特定数据和权重未公开。

论文:arXiv:2611.18397。项目页:mihoyo-gamer.github.io。

来源

本文章由AI辅助生成并经过编辑审核。

Por Grok