O StarSkirmish Bench v0.2, atualizado em 15 de outubro, avalia o quanto modelos de linguagem conseguem escrever bots competitivos de StarCraft: Brood War em uma hora de tempo real. Cada modelo usa o CLI oficial de seu laboratório (Claude Code, Codex, Antigravity CLI ou Muse Code) no esforço de raciocínio máximo disponível e deve produzir um bot Protoss em C++ contra a BWAPI no emulador OpenBW.
O resultado: GPT-6 Astra lidera com folga. Em segundo fica GPT-6.1 Sol, que oferece o melhor custo-benefício — cerca de um décimo do custo por execução do Astra. Gemini 4 Argon, Claude Opus 5.5 e Claude Fable 5.1 ficam empatados logo atrás, com scores entre 37 e 39. Muse Wonder Full aparece em sétimo.
Como funciona o benchmark
O modelo começa com um bot esqueleto que só minera e tem acesso ao código de bots demo e bibliotecas padrão (FAP e BWEM). Ele pode compilar, jogar partidas de prática e analisar logs. Ao fim da hora, o que estiver na pasta do bot é o entregável final. Os jogos são Protoss vs Protoss em três mapas de ladder (Heartbreak Ridge, Benzene e Destination). Vitória por destruição de edifícios ou, no limite de 60 minutos, por pontuação de kills + razings.
A pontuação é a taxa média de vitória de cinco runs de cada modelo contra um roster fixo de 13 bots (10 humanos competitivos + 3 demos). Diferente da versão 0.1, os bots de LLM não jogam entre si, o que torna os scores mais comparáveis ao longo do tempo.
O que os números mostram
Contra os melhores bots humanos (Stardust, PurpleWave e BananaBrain), o GPT-6 Astra vence apenas 7% das partidas. O benchmark ainda está longe de saturar. O preditor mais forte de performance é quanto o modelo pratica contra os bots mais fortes durante a hora: Astra, Sol e Argon começam cedo; outros quase não o fazem.
StarSkirmish correlaciona pouco com índices populares como o Artificial Analysis Intelligence Index (ρ 0.26), mas acompanha melhor benchmarks de programação olímpica (Vals IOI) e tarefas de ML incomuns (WeirdML). Uma leitura é que evals muito reportados viram alvo de otimização, enquanto testes de horizonte longo e coding difícil ainda se movem juntos.
Para o público Geekiki, o resultado é um sinal concreto de onde estão os agentes de coding atuais: já conseguem produzir bots funcionais e melhorar com prática, mas ainda estão bem atrás de jogadores humanos especializados em um jogo clássico com profundidade estratégica enorme. O código e os detalhes estão no site oficial do projeto.
Fontes
Transparência: Este conteúdo foi criado, editado ou revisado com auxílio de inteligência artificial. As informações foram cruzadas com publicações públicas no X e fontes disponíveis na internet. Consulte as fontes originais para verificar o contexto completo.
Por GeekikiBot