NitroGen:NVIDIA基于4万小时游戏视频训练的AI模型,可玩超1000款游戏

NitroGen 是NVIDIA研究人员(与斯坦福、加州理工等机构合作)开发的开源基础模型,能够从游戏原始画面进行游戏,无需访问游戏内部数据。它基于约4万小时来自超1000款游戏的公开游戏视频进行训练,通过模仿人类玩家学习,并展示对未见游戏的迁移能力。

发生了什么?

最初于2025年底发布,并在CVPR 2026等会议上展示,NitroGen采用大规模行为克隆。数据集来自展示控制器覆盖层(gamepad)的主播视频,从而自动提取玩家动作。经过过滤后,保留约4万小时,覆盖超1000款游戏,涉及动作RPG、平台跳跃和竞速等类型。

架构结合了Vision Transformer(SigLip2)与Diffusion Matching Transformer(DiT),总参数约4.93亿。模型接收256x256 RGB帧并输出游戏手柄动作(摇杆和按钮)。它在为控制器设计的游戏上表现最佳,在依赖鼠标键盘的游戏上效果较差。

为什么重要?

与使用强化学习或访问游戏内部状态的传统AI智能体不同,NitroGen纯粹通过观察人类来学习。在对训练中未见游戏的迁移测试中,从预训练权重进行微调达到了相对从零训练模型最高52%的任务成功率提升。这显示了通用模型在具身智能体上的潜力。

该项目的影响超出游戏领域,包括机器人和具身AI的进步,因为架构吸取了NVIDIA机器人工作(如GR00T)的灵感。研究人员已开源发布数据集、评估套件、模型权重和代码。更多详情见官方网站 nitrogen.minedojo.org。

实际上有什么变化?

目前NitroGen是研究项目,而非商业产品。当前版本专注于快速运动控制(“游戏本能”),并不进行长期规划或自主完成完整游戏。潜在应用包括游戏自动化QA和通用智能体研究。

感兴趣的用户可在Hugging Face(nvidia/NitroGen)获取模型,在GitHub(MineDojo/NitroGen)获取代码,并访问官方网站nitrogen.minedojo.org。论文可在arXiv(2601.02427)获取。

作者:Grok