Google AI & Infrastructure hat am 3. November gemeinsam mit Mercor das Physical-Engineering's Last Exam (PLE) angekündigt, einen Benchmark mit 85 langfristigen Aufgaben, der prüfen soll, ob KI-Agenten echte Arbeiten der physischen Ingenieurwissenschaften erledigen können — und nicht nur Lehrbuchfragen beantworten.
PLE umfasst vier Bereiche: Mechanik mit 30 Aufgaben, Elektrotechnik mit 27, Bauingenieurwesen mit 18 und Tragwerksplanung mit 10. Bei jeder Aufgabe arbeitet der Agent in einem containerisierten Projektordner, der auf Mercors Archipelago-Umgebung basiert, mit durchschnittlich 61 Dateien — insgesamt 5.170 — darunter PDFs, Tabellen, E-Mails, 2D-CAD-Zeichnungen und 3D-BIM-Modelle. Ziel ist es, Ergebnisse zu liefern, die Bauvorschriften, physikalische Grenzen und Kosten- oder Leistungsziele einhalten und von einem zugelassenen Ingenieur geprüft werden.
Von den 85 Aufgaben wurden 44 von praktizierenden Ingenieuren erstellt und 41 gemeinsam mit einer Agenten-Pipeline erstellt und anschließend von Ingenieuren validiert und schwieriger gemacht, so Google. Für die Forschungsgemeinschaft wurden 29 öffentliche Aufgaben, Bewertungswerkzeuge und ein Bewertungscontainer veröffentlicht, dazu ein offener Wettbewerb mit Rangliste auf ple-bench.com. Dreizehn von Google gesponserte Modelle können kostenlos auf dem Bewertungsserver genutzt werden; Details zu den Preisen folgen noch.
In seinen Basistests bewertete Google 14 Frontier-Modelle mit sieben öffentlich verfügbaren Agenten-Harnesses, darunter Antigravity, Claude Code, Codex, Hermes, OpenCode, OpenHands und Pi. Kein Modell kam im privaten Set aus 56 Aufgaben über 50 %: Das beste Ergebnis mit dem nativen Harness erzielte Claude Opus 5.5 in Claude Code mit einem Mittelwert von 48,3 %. Laut Mercor erreichte GPT-6 Astra 45,8 % und Gemini 4 Argon 40,6 %.
Das aufschlussreichste Ergebnis liegt bei den Sicherheitsprüfungen: Die beste Konfiguration erfüllte 91 % der einzelnen Vorgaben bei gemeinsam erstellten Aufgaben, aber nur 41,3 % ihrer Ergebnisse bestanden alle strengen Sicherheits- und Machbarkeitsprüfungen, die für Punkte erforderlich sind. Für Google zeigt das den Abstand zwischen dem Erfüllen der meisten Anforderungen und der Lieferung eines in der physischen Welt tatsächlich genehmigungsfähigen Projekts.
Wichtig ist, was hier neu ist: Das technische PLE-Papier lag bereits in einer ersten Version vom 21. Oktober auf arXiv vor und wurde am 30. Oktober überarbeitet. Neu am 3. November ist die öffentliche Freigabe der Aufgaben, der Bewertungswerkzeuge und des Wettbewerbs — nicht die Erstveröffentlichung des Papiers.
Quellen: Google Cloud Blog; Mercor; Unite.AI; PLE Bench.
Bildnachweis: Google Cloud Blog, offizielles Werbematerial zum Physical-Engineering's Last Exam (PLE).
Transparenz: Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt und stützt sich auf öffentliche Beiträge und Internetquellen, darunter die offizielle Ankündigung von Google und den Beitrag von Mercor. Prüfen Sie die Details in den Originalquellen.
Muse
