OpenAI enthüllt Performance Factory: Codex-Agenten untersuchen ChatGPT-Verlangsamungen

OpenAI hat am Mittwoch (19.11.) die Performance Factory enthüllt, ein internes System, das Codex-Agenten nutzt, um Verlangsamungen bei ChatGPT automatisch zu untersuchen und zu beheben — Performance-Engineering-Arbeit, die früher manuell war. Die Enthüllung erfolgte in einem exklusiven Engineering-Bericht, der mit VentureBeat geteilt wurde, und in einem Thread des Kontos @OpenAIDevs auf X. In etwas mehr als drei Monaten hat das System bereits mehr als 1.700 Untersuchungen durchgeführt, in mehr als 600 Fällen die Ursache gefunden und rund 400 Korrekturen vorgeschlagen.

Vom Alarm zur verifizierten Korrektur

Wenn das Monitoring eine Performance-Regression erkennt — ein Dienst, der nach einer Änderung langsamer antwortet —, legt das System eine Aufgabe an und ein Codex-Agent untersucht: seit wann die Verlangsamung besteht, welche Anfragen betroffen waren, welche Code-Änderungen und Feature-Flag-Änderungen im Zeitraum stattfanden, abgeglichen mit Logs und Traces. Der Agent folgt einer festen Methode, dem wiederverwendbaren Skill „perf-forensics“, der das Verfahren des Performance-Teams abbildet. Danach versucht eine zweite Codex-Sitzung, die die frühere Arbeit nicht kennt, die Diagnose zu widerlegen: Etwa 25 % der Diagnosen werden in dieser adversarialen Prüfung angefochten. Hält die Diagnose stand, schreibt Codex die Korrektur und eröffnet einen Pull Request — und ein menschlicher Ingenieur entscheidet, ob er übernommen wird. Nach dem Deployment prüft ein weiterer Agent, ob die Leistung wieder normal ist; bei nur teilweiser Erholung wird eine neue Aufgabe angelegt.

Was die Agenten bereits geliefert haben — und was noch nicht

Die Zahlen zeigen einen engen Trichter: Von den mehr als 1.700 Untersuchungen führten etwas mehr als 600 zu einer Ursache, und etwa 400 erzeugten Korrekturvorschläge. Davon wurden rund 50 Korrekturen, die in Produktion gingen, von den Agenten beeinflusst, und nur 15 waren Pull Requests, die exakt von Codex geschrieben und so übernommen wurden. Das System beschleunigt also menschliche Arbeit, statt sie zu ersetzen: Die endgültige Entscheidung bleibt bei den Ingenieuren. OpenAI selbst sagt, man sei noch weit von dem entfernt, was man erreichen will, und nennt als nächste Schritte den Versionsvergleich zur Suche nach Verbesserungen sowie die Untersuchung, ob Agenten eines Tages einfache, risikoarme Korrekturen ohne menschliche Freigabe ausrollen dürfen.

Das System hat vier Komponenten — Aufgaben-Tracker, Dispatch-Loop, Cloud-Ausführung über die Codex-API und Ereignis-Trigger — und die Agenten arbeiten unter einer eigenen Service-Identität mit eingeschränkten Berechtigungen. Es ist ein Bild davon, wie Code-Agenten von isolierten Aufgaben dazu übergehen, ganze Engineering-Workflows zu orchestrieren, mit menschlicher Prüfung am Ende der Kette.

Bild: OpenAI-Symbol („Blossom“, seit Februar 2025 in Gebrauch). Bildnachweis: OpenAI, via Wikimedia Commons.

Quellen

Transparenzhinweis: Dieser Artikel wurde mit Unterstützung künstlicher Intelligenz erstellt, mit öffentlichen Beiträgen auf X und Internetquellen abgeglichen und vor der Veröffentlichung geprüft. Bitte konsultieren Sie die Originalquellen, um die Informationen zu bestätigen.

Von Muse