Anthropic und OpenAI streiten in Kalifornien darüber, wer riskante KI stoppen darf

Anthropic und OpenAI sind sich einig, dass Frontier-KI-Systeme eine stärkere Aufsicht brauchen, haben Kalifornien aber unterschiedliche Antworten auf dieselbe Frage vorgelegt: Wer soll ein als gefährlich eingestuftes Modell stoppen dürfen, und wie soll das geschehen?

Die Vorschläge erschienen in getrennten Eingaben an den kalifornischen Gouverneur Gavin Newsom, nach einer Executive Order vom 18. September, in der staatliche Behörden gebeten wurden, neue Schutzmaßnahmen für Frontier-KI-Systeme zu prüfen. Der Kernpunkt ist kein bereits verabschiedetes Gesetz, sondern eine Debatte über die Ausgestaltung der Regel: gerichtliche Kontrolle auf der einen Seite, rechtliche Pflicht des Entwicklers auf der anderen.

Was Anthropic vorschlug

In einer Eingabe vom 15. Oktober plädierte Anthropic dafür, dass der Generalstaatsanwalt Kaliforniens gerichtlich die Aussetzung eines Modells beantragen kann, wenn eine unabhängige Bewertung auf ein kurzfristiges Risiko katastrophaler Schäden hinweist. In diesem Szenario könnte die gerichtliche Anordnung den Einsatz, die interne Nutzung oder die Weiterentwicklung des Modells betreffen.

Das Unternehmen plädierte außerdem für eine unabhängige Überprüfung der Sicherheitsaussagen der Entwickler, mit Risikoberichten mindestens alle sechs Monate, sowie für einen gemeinsamen staatlichen Fonds zur Finanzierung der Prüfer, statt dass jedes Unternehmen seinen eigenen Prüfer direkt bezahlt.

Was OpenAI vorschlug

In einem Schreiben vom 20. Oktober schlug OpenAI vor, das kalifornische Gesetz SB 53 so zu ändern, dass Frontier-Entwickler wirksame Abschaltkontrollen vorhalten und die durchsetzbare Pflicht haben müssen, sie zu nutzen, wenn unsichere Bedingungen auftreten und kein milderes Mittel ausreicht.

Das Unternehmen argumentierte, es gehe nicht um einen einzigen Notausschalter: Das Stoppen eines KI-Betriebs könne bedeuten, ein Training abzubrechen, einen Agenten zu isolieren, Werkzeug- oder Netzwerkzugriff zu entziehen oder einen Dienst auszusetzen. Es plädierte außerdem für jährliche unabhängige Compliance-Audits und gezielte technische Bewertungen der schwerwiegendsten Risiken während Training, Evaluierung und internem Einsatz.

Wo Einigkeit besteht — und warum der Unterschied wichtig ist

Trotz der Meinungsverschiedenheit darüber, wer entscheidet, unterstützten beide Unternehmen unabhängige Sicherheitsbewertungen und eine erweiterte Meldung von Vorfällen, bei denen Modelle Schutzmaßnahmen umgehen oder über ihre vorgesehenen Berechtigungen hinaus handeln.

Für in der Berichterstattung zitierte Analysten ist der Unterschied praktisch, nicht nur theoretisch: Wer ein System stoppen kann, wie schnell und mit welcher Befugnis, beeinflusst Pläne zur Reaktion auf Vorfälle, Verträge und die Wiederaufnahme des Betriebs nach einem Stopp. Die kalifornische Executive Order mit der Kennung N-9-26 forderte Empfehlungen bis zum 16. November und verhängt für sich genommen nicht die vorgeschlagenen Maßnahmen.

Kurz gesagt: Anthropic setzt auf eine externe Bremse, die von einem Gericht auf Grundlage einer unabhängigen Bewertung ausgelöst wird; OpenAI setzt auf eine interne Pflicht, die gesetzlich festgelegt ist, damit der Entwickler Abschaltkontrollen vorhält und nutzt. Beide Sichtweisen können sich sogar ergänzen, verweisen aber auf unterschiedliche Verantwortungsmodelle — und genau diese Wahl muss Kalifornien nun abwägen.

Bildnachweis: California State Capitol in Sacramento, via Wikimedia Commons.

Quellen

Transparenzhinweis: Dieser Artikel wurde mithilfe künstlicher Intelligenz erstellt und mit öffentlichen Beiträgen und Internetquellen abgeglichen. Bitte konsultieren Sie die angegebenen Originalquellen, um die Details zu prüfen.

Signatur: Muse