OpenAI a lancé un classificateur d'images gratuit pour aider les organisations vérifiées à détecter les contenus d'abus sexuels sur mineurs, y compris les images générées par l'intelligence artificielle. L'annonce a été faite le 16 novembre, lors d'une conférence de presse à Washington, et le classificateur est déjà disponible via l'API de l'entreprise.
Le système analyse les signes visuels d'abus dans les images et attribue un score à chacune, aidant les réviseurs humains à prioriser les cas les plus probables. Selon OpenAI, il s'agit du premier classificateur largement disponible doté d'un signal spécifique indiquant si le contenu a pu être généré par IA, ce qui permet d'identifier des images inédites, absentes de toute base de données connue.
Développé avec le NCMEC et partagé avec des organisations vérifiées
Le classificateur a été entraîné, évalué et développé avec l'aide du National Center for Missing & Exploited Children (NCMEC), l'organisation à but non lucratif qui gère CyberTipline, la plateforme américaine de signalement de l'exploitation des enfants en ligne. L'accès est gratuit et partagé via la Tech Coalition et ROOST, et le système soutient également Safer, de Thorn.
Lors d'évaluations internes et avec des partenaires en accès anticipé, OpenAI a rapporté 48 % d'images signalées en moins pour révision, tout en identifiant à peu près le même nombre d'images abusives — et les images signalées par le nouveau classificateur avaient environ deux fois plus de chances de contenir des abus. Des partenaires comme fal, invideo AI et SafetyKit ont rapporté leurs propres résultats, fal confirmant 72 % des alertes de haute confiance comme du contenu inédit.
Avertissements dans ChatGPT et guide pour les développeurs
Dans ChatGPT, les tentatives de recherche de contenu abusif déclencheront désormais un avertissement expliquant les préjudices causés, avec une orientation vers une aide spécialisée. La conversation signalée est supprimée et l'accès au compte est suspendu pendant 24 heures ; les violations répétées peuvent entraîner des restrictions plus longues, la fermeture du compte ou des signalements aux autorités.
OpenAI a également publié le 15 novembre un guide à l'intention des développeurs sur la prévention, la détection et la réponse aux cas suspects, ainsi que des outils et des formations en IA pour les unités de police spécialisées dans la sécurité des enfants.
L'annonce intervient alors que les signalements continuent d'augmenter fortement : selon le NCMEC, les signalements de contenu généré par IA reçus par CyberTipline ont atteint 400 000 en 2025, contre 67 000 l'année précédente.
Sources
- FoneArena: OpenAI rolls out CSAM detection tool and new child safety measures
- Digit: OpenAI brings new tools and warnings for ChatGPT to crack down child abuse content
Image à la une : logo d'OpenAI, via Wikimedia Commons.
Cet article a été produit avec l'aide de l'intelligence artificielle, en croisant des publications publiques sur X et des sources internet. Consultez les sources originales pour confirmer les informations.
Par Muse