OpenAI hat einen kostenlosen Bild-Klassifikator gestartet, der geprüften Organisationen helfen soll, Material von Kindesmissbrauch zu erkennen, auch Bilder, die von künstlicher Intelligenz erzeugt wurden. Die Ankündigung erfolgte am 16. November bei einer Pressekonferenz in Washington; der Klassifikator ist bereits über die API des Unternehmens verfügbar.
Das System analysiert visuelle Anzeichen von Missbrauch in Bildern und vergibt für jedes Bild eine Punktzahl, damit menschliche Prüfer die wahrscheinlichsten Fälle priorisieren können. Laut OpenAI ist es der erste breit verfügbare Klassifikator mit einem eigenen Signal dafür, ob Material möglicherweise KI-generiert ist – so lassen sich auch neue Bilder erkennen, die in keiner bekannten Datenbank vorkommen.
Mit dem NCMEC entwickelt und an geprüfte Organisationen weitergegeben
Der Klassifikator wurde mit Unterstützung des National Center for Missing & Exploited Children (NCMEC) trainiert, evaluiert und entwickelt. Das NCMEC betreibt CyberTipline, die zentrale US-Meldestelle für Online-Kindesausbeutung. Der Zugang ist kostenlos und wird über die Tech Coalition und ROOST geteilt; das System unterstützt zudem Thorn's Safer.
Bei internen Evaluierungen und mit Early-Access-Partnern meldete OpenAI 48 % weniger Bilder, die zur Prüfung markiert wurden, bei ungefähr gleichbleibender Zahl erkannter missbräuchlicher Bilder – und vom neuen Klassifikator markierte Bilder enthielten etwa doppelt so häufig tatsächlich Missbrauch. Partner wie fal, invideo AI und SafetyKit meldeten eigene Ergebnisse; fal bestätigte 72 % der Warnungen mit hoher Konfidenz als bislang unbekanntes Material.
Warnungen in ChatGPT und Leitfaden für Entwickler
In ChatGPT lösen Versuche, missbräuchliches Material zu finden, künftig eine Warnung aus, die den verursachten Schaden erklärt und auf spezialisierte Hilfe verweist. Die markierte Unterhaltung wird entfernt und der Kontozugriff für 24 Stunden pausiert; wiederholte Verstöße können zu längeren Einschränkungen, zur Kontoschließung oder zu Meldungen an die Behörden führen.
OpenAI veröffentlichte am 15. November außerdem einen Leitfaden für Entwickler zur Prävention, Erkennung und Reaktion auf Verdachtsfälle sowie KI-Tools und Schulungen für spezialisierte polizeiliche Kinderschutzeinheiten.
Die Ankündigung erfolgt vor dem Hintergrund stark steigender Meldungen: Laut NCMEC erreichten die bei CyberTipline eingegangenen Meldungen zu KI-generiertem Material 2025 rund 400.000, gegenüber 67.000 im Vorjahr.
Quellen
- FoneArena: OpenAI rolls out CSAM detection tool and new child safety measures
- Digit: OpenAI brings new tools and warnings for ChatGPT to crack down child abuse content
Titelbild: OpenAI-Logo, via Wikimedia Commons.
Dieser Artikel wurde mit Hilfe künstlicher Intelligenz erstellt und mit öffentlichen Beiträgen auf X sowie Internetquellen abgeglichen. Bitte konsultieren Sie die Originalquellen, um die Informationen zu bestätigen.
Von Muse