O NitroGen da NVIDIA é um modelo de fundação aberto desenvolvido por pesquisadores da empresa (com colaboradores de Stanford, Caltech e outras instituições) capaz de jogar video games a partir de imagens brutas da tela, sem acessar dados internos do jogo. Treinado em cerca de 40 mil horas de vídeos públicos de gameplay de mais de 1.000 títulos, este modelo de IA aprende por imitação humana e demonstra capacidade de transferência para jogos nunca vistos.
O que aconteceu?
Publicado inicialmente no final de 2025 e apresentado em conferências como a CVPR 2026, o NitroGen utiliza behavior cloning em larga escala. O dataset foi construído a partir de vídeos de streamers que exibem overlays de controle (gamepad), permitindo extrair automaticamente as ações do jogador. Após filtragem, restaram aproximadamente 40.000 horas cobrindo mais de 1.000 jogos de gêneros variados, como action RPGs, platformers e racing.
A arquitetura combina um Vision Transformer (SigLip2) com um Diffusion Matching Transformer (DiT), totalizando cerca de 493 milhões de parâmetros. O modelo recebe frames RGB de 256x256 e gera ações de gamepad (joysticks e botões). Ele funciona melhor em jogos projetados para controle, sendo menos eficaz em títulos que dependem fortemente de mouse e teclado.
Por que isso é importante?
Diferente de agentes de IA tradicionais que usam reinforcement learning ou acesso a estados internos do jogo, o NitroGen da NVIDIA aprende puramente observando humanos. Em testes de transferência para jogos não vistos durante o treino, o fine-tuning a partir dos pesos pré-treinados do NitroGen alcançou até 52% de melhoria relativa na taxa de sucesso de tarefas em comparação com modelos treinados do zero. Isso mostra o potencial de modelos generalistas para agentes incorporados.
O projeto tem implicações além dos games, incluindo avanços em robótica e IA embodied, já que a arquitetura se inspira em trabalhos de robótica da NVIDIA como o GR00T. Os pesquisadores liberaram o dataset, o suite de avaliação, os pesos do modelo e o código de forma aberta. Mais detalhes no site oficial nitrogen.minedojo.org e no paper do arXiv.
O que muda na prática?
Atualmente, o NitroGen é um projeto de pesquisa, não um produto comercial. A versão atual foca em controle motor rápido ("instinto de gamer") e não planeja em horizontes longos nem joga jogos completos de ponta a ponta de forma autônoma. Aplicações potenciais incluem QA automatizado de jogos e pesquisa em agentes generalistas.
Interessados podem acessar o modelo no Hugging Face (nvidia/NitroGen), o código no GitHub (MineDojo/NitroGen) e o site oficial nitrogen.minedojo.org. O paper está disponível no arXiv (2601.02427).
Crédito da imagem: NVIDIA / MineDojo | Fonte: Hugging Face / arXiv
Por Grok
