OpenAI startet eingebettete Bewertungen mit Apollo, METR, Transluce und Goodfire

OpenAI hat am Montag, den 16. November, die erste Phase seiner eingebetteten Bewertungen (embedded assessments) angekündigt: Vereinbarungen mit vier unabhängigen Laboren — Apollo Research, METR, Transluce und Goodfire — um das Alignment und die Wirksamkeit der Schutzmaßnahmen seiner Modelle von innen zu bewerten, mit tiefem Zugang zu internen Systemen während des Trainings und der internen Nutzung.

Dem Unternehmen zufolge erhalten die Prüfer Zugang zu Ressourcen, die normalerweise den eigenen Forschern vorbehalten sind, darunter Modell-Checkpoints, Quellcode, Trainings- und Evaluationsdaten, Überwachungssysteme, technische Dokumentation und Gespräche mit den verantwortlichen Forschern und Ingenieuren. Dieser Zugang soll den Prüfern Belege und Kontext liefern, um unabhängige Bewertungen durchzuführen und Fehler aufzudecken, die OpenAI möglicherweise nicht vorhergesehen hat.

Was jedes Labor bewerten wird

Apollo Research wird untersuchen, ob Modelle heimlich gegen die Absichten ihrer Entwickler handeln können – die sogenannte Subversion – und ob die Schutzmaßnahmen von OpenAI ein solches Verhalten erkennen würden. Die Bewertung prüft vier Aussagen in zwei Stufen, darunter, dass das Training Subversion nicht gefördert hat und dass die Überlegung hinter einem Versuch erkennbar wäre. Sechs Prüfer von Apollo werden vier Monate lang an der Arbeit teilnehmen, so die Fachberichterstattung.

METR wird nach fehlgeleitetem Verhalten in OpenAIs bisher größtem Reinforcement-Learning-Lauf suchen, einschließlich Fehlern, die bestehende Tests und Monitore möglicherweise übersehen haben. Eine zweite, breitere Bewertung der Überwachungssysteme wurde vorläufig vereinbart und hängt von einer Einigung über den Umfang ab.

Transluce wird die Qualität und Abdeckung von OpenAIs Alignment-Bewertungen nach dem Training prüfen; beide Seiten planen Anfang 2027 eine etwa achtwöchige Folgeprüfung mit breiterem Zugang.

Goodfire wird Interpretierbarkeitsforscher einbetten und seine Plattform nutzen, um die internen Abläufe der Modelle zu analysieren, mit Schwerpunkt auf der Überwachung von Trainingsläufen, Debugging und Alignment. Die Ergebnisse gehen vor allem an OpenAIs interne Forscher, doch Goodfire wird im Verlauf der Zusammenarbeit auch Erkenntnisse veröffentlichen.

Unabhängigkeit, Vergütung und Veröffentlichung

Apollo und Goodfire akzeptieren eine Vergütung, die nicht von den Bewertungsergebnissen abhängt; METR und Transluce akzeptieren keine finanzielle Vergütung. Die Prüfer behalten ihre Unabhängigkeit bei der Veröffentlichung ihrer Bewertungen, doch OpenAI darf vertrauliche Informationen schwärzen und um Verzögerungen im Sinne einer verantwortungsvollen Offenlegung bitten, um sicherheitsrelevante Befunde zu beheben. Das Safety and Security Committee, das dem Vorstand der OpenAI Foundation zugeordnet ist, erhält ungeschwärzte Berichte und kann mit den Prüfern sprechen, auch privat.

OpenAI zufolge unterstützt das Programm auch seine Verpflichtungen aus dem White House Accord on Super Intelligence, in dem das Unternehmen unabhängigen Bewertungen seiner Sicherheitskontrollen zugestimmt hat. Bisher wurden keine Ergebnisse veröffentlicht: Dies ist die erste Phase, und das Unternehmen erwartet, dass sie zu langfristigen eingebetteten Partnerschaften führt. OpenAI räumt ein, dass es für diese Art von Bewertung noch keine standardisierten Normen gibt und dass technische und Zugangsprobleme wahrscheinlich auftreten werden.

Auch auf Geekiki: Astra, die neue KI von OpenAI, ist die erste, die als „kritisches Risiko" in der Cybersicherheit eingestuft wurde.

Quellen: OpenAI — Our first phase of embedded assessments; Unite.AI — OpenAI Signs Four Independent Assessors for Embedded Safety Reviews; AI Weekly — OpenAI Embeds Apollo, METR, Transluce, Goodfire in Safety Audit.

Bildnachweis: OpenAI, via Wikimedia Commons (gemeinfrei). Das Wordmark ist seit Februar 2025 die Hauptmarke von OpenAI.

Transparenz: Dieser Artikel wurde mit Unterstützung künstlicher Intelligenz erstellt und stützt sich auf öffentliche Beiträge auf X sowie Quellen aus dem Internet. Wir empfehlen, die Originalquellen für weitere Details zu konsultieren.

Von Muse