Em resumo
Demis Hassabis propôs a criação de um órgão americano, inspirado na FINRA, para definir avaliações de segurança de modelos avançados e coordenar respostas a riscos emergentes. A proposta ainda é uma iniciativa política, sem confirmação de adoção pelo governo dos Estados Unidos.
Demis Hassabis, CEO do Google DeepMind, publicou uma proposta ampla para lidar com os riscos associados ao avanço de sistemas de inteligência artificial. A ideia central é criar nos Estados Unidos uma entidade de padrões e avaliação capaz de acompanhar modelos de fronteira, estabelecer protocolos técnicos e ajudar a coordenar respostas quando novos riscos forem identificados.
A proposta parte de uma premissa de incerteza: ninguém sabe com precisão como os sistemas mais avançados vão se comportar à medida que ganharem capacidade, autonomia e acesso a ferramentas. Para Hassabis, essa falta de previsibilidade justifica uma postura de “otimismo cauteloso”, baseada na construção antecipada de salvaguardas, e não na espera por evidências de danos em escala.
Como funcionaria o órgão sugerido
O modelo citado por Hassabis é a FINRA, organização autorregulatória do setor financeiro americano. A referência indica uma estrutura voltada à formulação de padrões, ao desenvolvimento de avaliações e à coordenação entre empresas e autoridades, em vez de um órgão encarregado de controlar diretamente cada produto ou aplicação de IA.
Na prática, a entidade poderia desenvolver testes comuns para modelos avançados, estabelecer critérios comparáveis de risco e reunir informações produzidas por laboratórios diferentes. Isso ajudaria reguladores e o público a avaliar capacidades perigosas com uma linguagem técnica mais consistente, reduzindo a dependência de declarações voluntárias das próprias empresas.
A proposta também prevê a possibilidade de coordenar uma desaceleração no desenvolvimento de sistemas de fronteira caso as avaliações indiquem riscos graves. Esse ponto é especialmente sensível: uma recomendação de pausa ou redução de ritmo teria de ser compatível com a legislação americana, com a concorrência entre empresas e com a necessidade de evitar que atividades críticas simplesmente migrem para jurisdições menos transparentes.
Quem estaria incluído — e quem ficaria de fora
Segundo o material publicado pelo The Decoder, a estrutura teria como foco os modelos mais avançados desenvolvidos por grandes laboratórios. Startups e modelos voltados à pesquisa seriam isentos da obrigação central proposta, uma tentativa de preservar inovação e experimentação em organizações com menos recursos.
Essa distinção, porém, levanta questões práticas. Um modelo criado por uma startup pode alcançar grande escala rapidamente, enquanto um sistema inicialmente apresentado como pesquisa pode ser incorporado a um produto comercial. Definir quando um projeto deixa de ser experimental e passa a exigir avaliações formais seria uma das tarefas mais difíceis de qualquer regime desse tipo.
- Criar protocolos técnicos comuns para testar capacidades e riscos de modelos avançados.
- Estabelecer critérios para comparar resultados entre diferentes laboratórios.
- Compartilhar sinais de alerta com empresas e autoridades competentes.
- Definir mecanismos de resposta proporcionais quando surgirem riscos relevantes.
Por que a proposta ganha importância agora
Os laboratórios de IA vêm aumentando a capacidade de seus modelos em ciclos rápidos, enquanto os métodos de avaliação ainda são fragmentados. Testes de segurança podem medir desempenho em cenários específicos, mas nem sempre capturam comportamentos inesperados, uso indevido, riscos de cibersegurança ou efeitos produzidos quando o sistema opera conectado a ferramentas externas.
Um padrão comum poderia melhorar a comparação entre modelos e facilitar decisões de compra, implantação e supervisão. Também poderia criar incentivos para que as empresas corrigissem problemas antes do lançamento. Por outro lado, avaliações mal desenhadas podem produzir uma falsa sensação de segurança ou privilegiar métricas fáceis de medir, deixando de fora riscos mais difíceis de quantificar.
Há ainda um conflito de interesses inevitável. O Google DeepMind é um dos principais desenvolvedores mundiais de modelos avançados e teria interesse direto nas regras, nos testes e nos limites definidos pelo órgão. A legitimidade da proposta dependeria, portanto, de governança independente, transparência metodológica e participação de pesquisadores, sociedade civil, usuários afetados e autoridades públicas.
A coordenação internacional também seria necessária. Um órgão americano poderia influenciar o mercado global, especialmente se seus padrões fossem adotados por clientes e parceiros, mas não teria autoridade automática sobre laboratórios estrangeiros. Sem mecanismos de cooperação, diferentes países poderiam criar exigências incompatíveis ou competir pela regulamentação mais permissiva.
A proposta de Hassabis não equivale a uma lei aprovada nem estabelece um cronograma de implementação. Não estão confirmados, no material disponível, o formato jurídico da entidade, sua fonte de financiamento, o grau de poder sobre as empresas, os critérios exatos para classificar um modelo como de fronteira ou as condições que poderiam justificar uma desaceleração.
O próximo debate deve se concentrar menos na criação nominal do órgão e mais nos detalhes operacionais: quais riscos serão avaliados, quem terá acesso aos resultados, como informações confidenciais serão protegidas e quais medidas poderão ser impostas diante de um alerta. A experiência da proposta mostra que a discussão sobre IA avançada está migrando de princípios gerais para mecanismos concretos de teste, supervisão e resposta.
O nosso prisma
A proposta importa porque tenta transformar a segurança de IA em uma infraestrutura permanente de avaliação, e não apenas em compromissos voluntários de cada laboratório. Seu principal desafio será conciliar independência regulatória, velocidade de inovação e padrões técnicos que não sejam facilmente manipulados. A isenção para startups e pesquisa pode estimular experimentação, mas também cria brechas se sistemas pequenos ganharem escala rapidamente. O impacto real dependerá de autoridade legal, transparência e cooperação internacional — pontos que ainda permanecem em aberto.
Fonte: The Decoder
Perguntas frequentes
O que Demis Hassabis propôs?
A criação de um órgão americano para estabelecer protocolos de avaliação de modelos de IA de fronteira e coordenar medidas de segurança.
A proposta já foi adotada pelo governo dos EUA?
Não. Até o momento, trata-se de uma proposta publicada por Hassabis, sem confirmação de implementação oficial.
Por que a FINRA foi usada como referência?
Porque a FINRA é uma entidade autorregulatória do mercado financeiro que cria padrões, supervisiona práticas e pode coordenar respostas entre participantes.
Receba o Jornal da IA todos os dias
As notícias de inteligência artificial que importam no Brasil — com o nosso prisma e sempre com as fontes. Grátis.
