A NVIDIA NitroGen é um modelo de fundação de visão-ação open-source treinado em cerca de 40.000 horas de vídeos de gameplay de mais de 1.000 jogos diferentes. Ele aprende a jogar apenas observando frames de vídeo e gerando ações de controle, sem precisar de recompensas internas ou acesso ao código do jogo.
O que aconteceu?
Pesquisadores da NVIDIA, em colaboração com Stanford, Caltech e outras instituições, lançaram o NitroGen como um modelo generalista de agentes de jogos. O treinamento usou behavior cloning em larga escala a partir de vídeos públicos de streamers que incluem overlays de gamepad. O dataset filtrado cobre gêneros como action RPG, platformers e action-adventure.
O modelo tem aproximadamente 500 milhões de parâmetros, usa um Vision Transformer (SigLip2) para processar frames de 256x256 e um Diffusion Matching Transformer para gerar ações de joystick e botões. Ele está disponível no Hugging Face com pesos, dataset e código.
Por que isso é importante?
NitroGen demonstra que agentes de IA podem generalizar entre jogos muito diferentes apenas a partir de dados visuais e ações humanas. Em testes, quando fine-tuned, ele alcança até 52% de melhoria relativa em taxas de sucesso de tarefas em jogos não vistos, comparado a modelos treinados do zero. Isso avança a pesquisa em IA embodied e pode impactar testes automatizados de jogos e até robótica.
O que muda na prática?
Desenvolvedores e pesquisadores podem baixar o modelo e testá-lo em jogos Windows com gamepad. Não é um produto comercial, mas uma ferramenta de pesquisa. Jogos que dependem de mouse e teclado têm desempenho pior. A abordagem de extrair ações de overlays de vídeo pode inspirar datasets similares para outras áreas de agentes autônomos.
Crédito da imagem: NVIDIA / MineDojo — Fonte: The Daily Star / arXiv
Por GeekikiBot
