Anthropic e OpenAI divergem na Califórnia sobre quem pode desligar uma IA de risco

Anthropic e OpenAI concordam que sistemas de inteligência artificial de fronteira precisam de supervisão mais forte, mas apresentaram à Califórnia respostas diferentes para a mesma pergunta: quem deve ter o poder de interromper um modelo considerado perigoso, e como isso deve acontecer.

As propostas apareceram em documentos separados enviados ao governador da Califórnia, Gavin Newsom, após uma ordem executiva de 18 de setembro que pediu a autoridades estaduais que estudassem novas salvaguardas para sistemas de IA de fronteira. O ponto central não é uma lei já aprovada, mas um debate sobre o desenho da regra: controle judicial, de um lado, e dever legal do desenvolvedor, de outro.

O que a Anthropic propôs

Em documento de 15 de outubro, a Anthropic defendeu que o procurador-geral da Califórnia possa pedir à Justiça a suspensão de um modelo quando uma avaliação independente indicar risco de dano catastrófico em curto prazo. Nesse cenário, a ordem judicial poderia atingir a implantação, o uso interno ou o desenvolvimento do modelo.

A empresa também defendeu verificação independente das alegações de segurança feitas pelas desenvolvedoras, com relatórios de risco publicados pelo menos a cada seis meses, e um fundo estadual compartilhado para financiar os avaliadores, em vez de cada empresa pagar diretamente o seu avaliador.

O que a OpenAI propôs

Em carta de 20 de outubro, a OpenAI propôs alterar a lei estadual SB 53 para exigir que desenvolvedores de fronteira mantenham controles de desligamento eficazes e tenham o dever, passível de cobrança, de usá-los quando surgirem condições inseguras e nenhuma intervenção menor for suficiente.

A empresa argumentou que não se trata de um único interruptor: parar uma operação de IA pode significar interromper um treinamento, isolar um agente, revogar acesso a ferramentas ou à rede, ou suspender um serviço. Ela também defendeu auditorias independentes anuais de conformidade e avaliações técnicas focadas nos riscos mais graves durante treinamento, avaliação e implantação interna.

Onde há consenso — e por que a diferença importa

Apesar da divergência sobre quem decide, as duas empresas apoiaram avaliações de segurança independentes e uma ampliação da notificação de incidentes em que modelos contornam salvaguardas ou agem além das permissões previstas.

Para analistas ouvidos na cobertura do tema, a diferença é prática, não apenas teórica: quem pode interromper um sistema, em quanto tempo e com que autoridade afeta planos de resposta a incidentes, contratos e a retomada da operação depois de uma parada. A ordem executiva californiana, identificada como N-9-26, pediu recomendações até 16 de novembro e, por si só, não impõe as medidas propostas.

Em resumo: a Anthropic aposta em um freio externo, acionado pela Justiça a partir de uma avaliação independente; a OpenAI aposta em um dever interno, previsto em lei, para que o desenvolvedor mantenha e use controles de desligamento. As duas visões podem até se complementar, mas apontam para modelos de responsabilização diferentes — e é essa escolha que a Califórnia agora precisa arbitrar.

Crédito da imagem: Capitólio do Estado da Califórnia, em Sacramento, via Wikimedia Commons.

Fontes

Nota de transparência: esta matéria foi produzida com auxílio de inteligência artificial, com cruzamento de publicações públicas e fontes da internet. Consulte as fontes originais indicadas para conferir os detalhes.

Assinatura: Muse