Projeto da Anthropic prevê suspender modelos sob risco catastrófico

0
4
Projeto da Anthropic prevê suspender modelos sob risco catastrófico

Em resumo

A Anthropic está apresentando aos legisladores americanos um projeto que permitiria interromper o lançamento de modelos apenas diante de risco iminente de mais de 50 mortes, ferimentos graves ou US$ 1 bilhão em danos. A proposta também concentraria a decisão em um juiz federal de Washington, D.C., em vez de permitir uma suspensão direta por agências do governo.

A Anthropic está apresentando a legisladores dos Estados Unidos um projeto de lei próprio para tratar de riscos extremos associados a modelos de inteligência artificial. Segundo reportagens do TechCrunch e da Mashable baseadas em um documento confidencial obtido pelo Politico, o texto permitiria bloquear a distribuição de um modelo diante de um risco previsível e iminente capaz de causar a morte ou ferimentos graves de mais de 50 pessoas, ou danos materiais superiores a US$ 1 bilhão.

A proposta não foi descrita nas fontes como uma lei aprovada, nem como uma política já adotada pelo governo americano. Trata-se de um rascunho que a empresa estaria levando a parlamentares para discussão. Portanto, seus limites, mecanismos e redação ainda podem ser alterados, e não há confirmação, no material fornecido, de que o Congresso tenha iniciado formalmente sua tramitação.

O que o projeto considera risco catastrófico

Os critérios apresentados são mais específicos do que uma autorização ampla para o governo interromper qualquer modelo considerado perigoso. O risco teria de estar ligado a um ataque cibernético, à perda de controle do sistema pelo desenvolvedor ou à criação ou liberação de uma arma biológica. Além disso, o perigo precisaria ser considerado iminente e atingir uma das duas escalas estabelecidas: mais de 50 possíveis mortes ou ferimentos graves, ou ao menos US$ 1 bilhão em prejuízos materiais.

A combinação entre tipo de ameaça e dimensão do dano é central para entender o alcance da proposta. Um risco relevante, mas fora dessas categorias, poderia não se enquadrar no mecanismo descrito. As fontes também não esclarecem como seriam calculadas as mortes, lesões ou perdas financeiras previstas, nem quais evidências seriam suficientes para demonstrar que o perigo é iminente.

Os números lembram os parâmetros usados na Senate Bill 53, uma lei da Califórnia mencionada pelo TechCrunch como definição semelhante de risco catastrófico. A comparação indica que a proposta da Anthropic se aproxima de uma tendência regulatória que tenta transformar danos extremos em critérios objetivos. Ainda assim, a existência de valores de referência não resolve, por si só, a dificuldade de prever consequências de sistemas complexos.

A decisão passaria por avaliadores e pela Justiça

O projeto prevê avaliações periódicas de laboratórios e modelos por especialistas independentes registrados no Departamento de Comércio dos Estados Unidos. Se esses avaliadores identificassem um risco iminente dentro das categorias previstas, teriam 72 horas para comunicar o departamento. O órgão então avaliaria se deveria pedir a suspensão a um juiz federal em Washington, D.C.

O ponto mais controverso é que a proposta proibiria qualquer departamento, agência ou autoridade federal de interromper diretamente a distribuição de um modelo. Mesmo quando uma avaliação apontasse um risco grave, a suspensão dependeria de uma solicitação do Departamento de Comércio e da autorização judicial correspondente. Na prática, o mecanismo substituiria uma decisão administrativa imediata por um processo com revisão de um magistrado.

Esse desenho pode ser interpretado de duas formas. De um lado, a exigência de uma ordem judicial criaria uma barreira contra decisões unilaterais do governo e deixaria mais explícitos os critérios para uma intervenção. De outro, também poderia retardar uma resposta diante de um perigo que evoluísse rapidamente, já que a agência não teria poder autônomo para bloquear o modelo.

A proposta ainda levanta uma questão sobre a independência das avaliações. Os laboratórios poderiam pagar os avaliadores, desde que o pagamento não dependesse do resultado dos pareceres, segundo o material citado pelo TechCrunch. O texto fornecido não explica como essa separação seria fiscalizada, como conflitos de interesse seriam tratados ou quais sanções existiriam em caso de influência indevida.

Por que a proposta importa agora

A iniciativa aparece em um momento de disputa sobre quem deve definir os limites de segurança da indústria de IA: as próprias empresas, órgãos reguladores, o Congresso ou uma combinação dessas instâncias. Ao apresentar uma arquitetura legal própria, a Anthropic tenta influenciar a forma como o governo americano responderia aos cenários mais graves associados a modelos avançados.

Há também uma consequência institucional importante. A proposta não apenas estabelece quando um modelo poderia ser suspenso; ela determina quem não poderia fazê-lo. Ao retirar das agências federais a autoridade direta e concentrar o pedido no Departamento de Comércio, o texto cria uma cadeia formal de avaliação, comunicação e decisão judicial.

Isso pode aumentar a previsibilidade para desenvolvedores e usuários, mas depende de definições ainda ausentes no dossiê. Não está claro, por exemplo, quais testes os avaliadores usariam, como lidariam com modelos já distribuídos, que prazo teria um juiz para decidir ou como o processo funcionaria em situações que envolvessem múltiplos países.

Também não há confirmação de que o projeto represente uma posição comum de todo o setor ou de que tenha apoio suficiente entre parlamentares. O material disponível registra que a Anthropic está promovendo a ideia junto a legisladores e que o documento foi obtido pelo Politico, mas não apresenta reações oficiais do governo, de outras empresas ou de organizações independentes.

O próximo ponto a acompanhar é a transformação do rascunho em texto público e debatido. Será preciso verificar se os limites de 50 pessoas e US$ 1 bilhão permanecem, como a independência dos avaliadores será garantida e se o Congresso aceitará restringir a autoridade das agências federais. Até que essas etapas ocorram, a proposta deve ser tratada como uma contribuição política da Anthropic, não como regra vigente.

  • A proposta ainda é um rascunho apresentado a legisladores, não uma lei aprovada.
  • Os riscos citados se concentram em armas biológicas, ataques cibernéticos e perda de controle pelo desenvolvedor.
  • A suspensão dependeria de um juiz federal em Washington, D.C.
  • A independência e o financiamento dos avaliadores permanecem pontos sem detalhamento suficiente.

O nosso prisma

A proposta tenta dar objetividade à resposta regulatória ao combinar categorias de risco com limites numéricos de dano, mas esses critérios não eliminam a incerteza das previsões. Seu aspecto mais relevante talvez seja institucional: a Anthropic quer impedir que agências federais suspendam modelos por conta própria. Isso pode funcionar como proteção contra decisões administrativas arbitrárias, mas também cria dependência de um processo judicial em situações potencialmente urgentes. Antes de qualquer avaliação definitiva, o texto precisa esclarecer metodologia, conflitos de interesse, prazos e aplicação a modelos já distribuídos.

Fontes: TechCrunch (IA) · Mashable

Perguntas frequentes

Qual é o limite previsto no projeto da Anthropic?

A proposta menciona risco previsível e iminente de morte ou ferimentos graves para mais de 50 pessoas, ou de pelo menos US$ 1 bilhão em danos materiais.

Quais riscos poderiam justificar a suspensão?

O texto descrito nas reportagens cita ataques cibernéticos, perda de controle do modelo pelo desenvolvedor e criação ou liberação de uma arma biológica.

Quem poderia suspender um modelo?

Segundo a proposta, apenas um juiz federal em Washington, D.C., após pedido do Departamento de Comércio, teria autoridade para interromper a distribuição.

Receba o Jornal da IA todos os dias

As notícias de inteligência artificial que importam no Brasil — com o nosso prisma e sempre com as fontes. Grátis.

Sem spam. Cancele quando quiser.