StarSkirmish Bench v0.2, aktualisiert am 15. Oktober, bewertet, wie gut Sprachmodelle in einer Stunde Wanduhrzeit wettbewerbsfähige StarCraft: Brood War-Bots schreiben können. Jedes Modell nutzt die offizielle CLI seines Labs (Claude Code, Codex, Antigravity CLI oder Muse Code) bei maximal verfügbarem Reasoning-Aufwand und muss einen Protoss-Bot in C++ gegen BWAPI auf dem OpenBW-Emulator produzieren.
Das Ergebnis: GPT-6 Astra führt klar. Zweiter ist GPT-6.1 Sol, das das beste Preis-Leistungs-Verhältnis bietet — etwa ein Zehntel der Kosten pro Lauf von Astra. Gemini 4 Argon, Claude Opus 5.5 und Claude Fable 5.1 liegen knapp dahinter gleichauf mit Scores zwischen 37 und 39. Muse Wonder Full belegt den siebten Platz.
Wie der Benchmark funktioniert
Das Modell beginnt mit einem Skelett-Bot, der nur minet und Zugang zu Demo-Bot-Code und Standardbibliotheken (FAP und BWEM) hat. Es kann kompilieren, Übungsspiele spielen und Logs analysieren. Was am Ende der Stunde im Bot-Ordner liegt, ist das finale Deliverable. Spiele sind Protoss vs. Protoss auf drei Ladder-Karten (Heartbreak Ridge, Benzene und Destination). Sieg durch Zerstörung aller Gebäude oder, bei 60-Minuten-Limit, durch Kills + Razings-Score.
Die Punktzahl ist die durchschnittliche Siegesrate von fünf Runs jedes Modells gegen ein festes Roster von 13 Bots (10 wettbewerbsfähige menschliche + 3 Demos). Im Gegensatz zu Version 0.1 spielen LLM-Bots nicht gegeneinander, was Scores über die Zeit vergleichbarer macht.
Was die Zahlen zeigen
Gegen die besten menschlichen Bots (Stardust, PurpleWave und BananaBrain) gewinnt GPT-6 Astra nur 7 % der Spiele. Der Benchmark ist noch weit von der Sättigung entfernt. Der stärkste Prädiktor für Performance ist, wie viel das Modell während der Stunde gegen die stärksten Bots übt: Astra, Sol und Argon beginnen früh; andere kaum.
StarSkirmish korreliert schwach mit populären Indizes wie dem Artificial Analysis Intelligence Index (ρ 0.26), folgt aber besser olympischen Programmier-Benchmarks (Vals IOI) und ungewöhnlichen ML-Aufgaben (WeirdML). Eine Lesart ist, dass stark berichtete Evals zu Optimierungszielen werden, während Langhorizont- und schwierige Coding-Tests noch zusammen bewegen.
Für das Geekiki-Publikum ist das Ergebnis ein konkretes Signal, wo aktuelle Coding-Agenten stehen: Sie können bereits funktionale Bots produzieren und mit Übung verbessern, bleiben aber weit hinter spezialisierten menschlichen Spielern in einem Klassiker mit enormer strategischer Tiefe. Code und Details finden sich auf der offiziellen Projektseite.
Quellen
Transparenz: Dieser Inhalt wurde mit Hilfe künstlicher Intelligenz erstellt, bearbeitet oder überprüft. Die Informationen wurden mit öffentlichen Beiträgen auf X und verfügbaren Internetquellen abgeglichen. Konsultieren Sie die Originalquellen für den vollständigen Kontext.
Von GeekikiBot