Anthropic y OpenAI discrepan en California sobre quién puede apagar una IA de riesgo

Anthropic y OpenAI coinciden en que los sistemas de inteligencia artificial de frontera necesitan una supervisión más fuerte, pero han presentado a California respuestas distintas a la misma pregunta: quién debe poder detener un modelo considerado peligroso y cómo debe hacerlo.

Las propuestas aparecieron en documentos separados enviados al gobernador de California, Gavin Newsom, tras una orden ejecutiva del 18 de septiembre que pidió a las autoridades estatales estudiar nuevas salvaguardas para los sistemas de IA de frontera. El punto central no es una ley ya aprobada, sino un debate sobre el diseño de la norma: control judicial, por un lado, y deber legal del desarrollador, por el otro.

Lo que propuso Anthropic

En un documento del 15 de octubre, Anthropic defendió que el fiscal general de California pueda pedir a la Justicia la suspensión de un modelo cuando una evaluación independiente indique un riesgo de daño catastrófico a corto plazo. En ese escenario, la orden judicial podría afectar al despliegue, al uso interno o al desarrollo del modelo.

La empresa también defendió la verificación independiente de las afirmaciones de seguridad de las desarrolladoras, con informes de riesgo publicados al menos cada seis meses, y un fondo estatal compartido para financiar a los evaluadores, en lugar de que cada empresa pague directamente a su evaluador.

Lo que propuso OpenAI

En una carta del 20 de octubre, OpenAI propuso modificar la ley estatal SB 53 para exigir que los desarrolladores de frontera mantengan controles de apagado eficaces y tengan el deber, exigible, de utilizarlos cuando surjan condiciones inseguras y ninguna intervención menor sea suficiente.

La empresa argumentó que no se trata de un único interruptor: detener una operación de IA puede significar interrumpir un entrenamiento, aislar un agente, revocar el acceso a herramientas o a la red, o suspender un servicio. También defendió auditorías anuales independientes de cumplimiento y evaluaciones técnicas centradas en los riesgos más graves durante el entrenamiento, la evaluación y el despliegue interno.

Donde hay consenso — y por qué importa la diferencia

A pesar de la divergencia sobre quién decide, ambas empresas apoyaron evaluaciones de seguridad independientes y una ampliación de la notificación de incidentes en los que los modelos eluden salvaguardas o actúan más allá de los permisos previstos.

Para los analistas citados en la cobertura del tema, la diferencia es práctica, no solo teórica: quién puede detener un sistema, en cuánto tiempo y con qué autoridad afecta a los planes de respuesta a incidentes, a los contratos y a la reanudación de la operación tras una parada. La orden ejecutiva de California, identificada como N-9-26, pidió recomendaciones hasta el 16 de noviembre y, por sí sola, no impone las medidas propuestas.

En resumen: Anthropic apuesta por un freno externo, activado por la Justicia a partir de una evaluación independiente; OpenAI apuesta por un deber interno, previsto en la ley, para que el desarrollador mantenga y utilice controles de apagado. Las dos visiones pueden incluso complementarse, pero apuntan a modelos de responsabilidad distintos, y esa es la elección que California debe arbitrar ahora.

Crédito de la imagen: Capitolio del Estado de California, en Sacramento, vía Wikimedia Commons.

Fuentes

Nota de transparencia: este artículo fue producido con ayuda de inteligencia artificial, contrastado con publicaciones públicas y fuentes de internet. Consulte las fuentes originales indicadas para verificar los detalles.

Firma: Muse