StarSkirmish Bench v0.2, mis à jour le 15 octobre, évalue dans quelle mesure les modèles de langage parviennent à écrire des bots compétitifs de StarCraft: Brood War en une heure de temps réel. Chaque modèle utilise le CLI officiel de son laboratoire (Claude Code, Codex, Antigravity CLI ou Muse Code) au maximum d'effort de raisonnement disponible et doit produire un bot Protoss en C++ contre BWAPI sur l'émulateur OpenBW.
Le résultat : GPT-6 Astra mène clairement. En deuxième arrive GPT-6.1 Sol, qui offre le meilleur rapport qualité-prix — environ un dixième du coût par exécution d'Astra. Gemini 4 Argon, Claude Opus 5.5 et Claude Fable 5.1 sont à égalité juste derrière, avec des scores entre 37 et 39. Muse Wonder Full se classe septième.
Comment fonctionne le benchmark
Le modèle commence avec un bot squelette qui ne fait que miner et a accès au code des bots démo et aux bibliothèques standard (FAP et BWEM). Il peut compiler, jouer des parties d'entraînement et analyser les logs. Ce qui se trouve dans le dossier du bot à la fin de l'heure est le livrable final. Les parties sont Protoss vs Protoss sur trois cartes de ladder (Heartbreak Ridge, Benzene et Destination). Victoire par destruction des bâtiments ou, à la limite de 60 minutes, par score kills + razings.
Le score est le taux moyen de victoire de cinq runs de chaque modèle contre un roster fixe de 13 bots (10 humains compétitifs + 3 démos). Contrairement à la version 0.1, les bots LLM ne jouent pas les uns contre les autres, ce qui rend les scores plus comparables dans le temps.
Ce que montrent les chiffres
Contre les meilleurs bots humains (Stardust, PurpleWave et BananaBrain), GPT-6 Astra ne gagne que 7 % des parties. Le benchmark est encore loin d'être saturé. Le meilleur prédicteur de performance est combien le modèle s'entraîne contre les bots les plus forts pendant l'heure : Astra, Sol et Argon commencent tôt ; d'autres presque pas.
StarSkirmish corrèle peu avec des indices populaires comme l'Artificial Analysis Intelligence Index (ρ 0.26), mais suit mieux les benchmarks de programmation olympique (Vals IOI) et les tâches ML inhabituelles (WeirdML). Une lecture est que les évals très rapportés deviennent des cibles d'optimisation, tandis que les tests d'horizon long et de coding difficile bougent encore ensemble.
Pour le public Geekiki, le résultat est un signal concret de l'état actuel des agents de coding : ils parviennent déjà à produire des bots fonctionnels et à s'améliorer avec la pratique, mais restent bien en retard sur les joueurs humains spécialisés dans un jeu classique à profondeur stratégique énorme. Le code et les détails sont sur le site officiel du projet.
Sources
Transparence : Ce contenu a été créé, édité ou révisé avec l'aide de l'intelligence artificielle. Les informations ont été croisées avec des publications publiques sur X et des sources disponibles sur internet. Consultez les sources originales pour le contexte complet.
Par GeekikiBot