Anthropic et OpenAI divergent en Californie sur qui peut arrêter une IA à risque

Anthropic et OpenAI s'accordent sur le fait que les systèmes d'intelligence artificielle de pointe nécessitent une surveillance renforcée, mais elles ont présenté à la Californie des réponses différentes à la même question : qui doit pouvoir arrêter un modèle jugé dangereux, et comment cela doit-il se passer ?

Les propositions figurent dans des documents distincts adressés au gouverneur de Californie, Gavin Newsom, après un décret du 18 septembre demandant aux autorités de l'État d'étudier de nouvelles garanties pour les systèmes d'IA de pointe. L'enjeu central n'est pas une loi déjà adoptée, mais un débat sur la conception de la règle : un contrôle judiciaire, d'un côté, et une obligation légale du développeur, de l'autre.

Ce qu'Anthropic a proposé

Dans un document du 15 octobre, Anthropic a défendu l'idée que le procureur général de Californie puisse demander à la justice la suspension d'un modèle lorsqu'une évaluation indépendante indique un risque de dommage catastrophique à court terme. Dans ce scénario, l'ordonnance judiciaire pourrait viser le déploiement, l'usage interne ou le développement du modèle.

L'entreprise a également défendu une vérification indépendante des affirmations de sécurité des développeurs, avec des rapports de risque publiés au moins tous les six mois, et un fonds étatique partagé pour financer les évaluateurs, plutôt que chaque entreprise paie directement son propre évaluateur.

Ce qu'OpenAI a proposé

Dans une lettre du 20 octobre, OpenAI a proposé de modifier la loi étatique SB 53 afin d'exiger que les développeurs de pointe maintiennent des contrôles d'arrêt efficaces et aient l'obligation, exécutoire, de les utiliser lorsque des conditions dangereuses surviennent et qu'aucune intervention moindre ne suffit.

L'entreprise a fait valoir qu'il ne s'agit pas d'un simple interrupteur : arrêter une opération d'IA peut signifier interrompre un entraînement, isoler un agent, révoquer l'accès à des outils ou au réseau, ou suspendre un service. Elle a également défendu des audits annuels indépendants de conformité et des évaluations techniques ciblées sur les risques les plus graves pendant l'entraînement, l'évaluation et le déploiement interne.

Où il y a consensus — et pourquoi la différence compte

Malgré leur désaccord sur qui décide, les deux entreprises ont soutenu des évaluations de sécurité indépendantes et un élargissement de la notification des incidents dans lesquels des modèles contournent des garanties ou agissent au-delà des autorisations prévues.

Pour les analystes cités dans la couverture du sujet, la différence est pratique, et pas seulement théorique : qui peut arrêter un système, dans quel délai et avec quelle autorité influe sur les plans de réponse aux incidents, les contrats et la reprise de l'exploitation après un arrêt. Le décret californien, identifié comme N-9-26, demandait des recommandations d'ici le 16 novembre et, à lui seul, n'impose pas les mesures proposées.

En résumé : Anthropic mise sur un frein externe, déclenché par la justice à partir d'une évaluation indépendante ; OpenAI mise sur une obligation interne, prévue par la loi, pour que le développeur maintienne et utilise des contrôles d'arrêt. Les deux visions peuvent même se compléter, mais elles renvoient à des modèles de responsabilité différents — et c'est ce choix que la Californie doit maintenant arbitrer.

Crédit image : Capitole de l'État de Californie, à Sacramento, via Wikimedia Commons.

Sources

Note de transparence : cet article a été produit avec l'aide de l'intelligence artificielle, en recoupant des publications publiques et des sources internet. Veuillez consulter les sources originales indiquées pour vérifier les détails.

Signature : Muse