Em resumo
O AI Security Institute do Reino Unido concluiu que avaliações tradicionais podem subestimar o desempenho de agentes de IA ao impor orçamentos de computação apertados. O achado importa porque modelos mais novos parecem melhorar muito quando recebem mais tokens, o que muda como governos, empresas e laboratórios devem medir risco e progresso.
O AI Security Institute do Reino Unido identificou um problema relevante na forma como parte da indústria mede o avanço de agentes de inteligência artificial: benchmarks tradicionais podem estar subestimando o que esses sistemas conseguem fazer quando recebem mais orçamento de computação. Segundo reportagem do The Decoder, a conclusão vem de um estudo que analisou sete benchmarks e observou que limites de tokens impostos durante a avaliação reduzem artificialmente o desempenho medido.
A questão é técnica, mas tem impacto direto na leitura pública e regulatória sobre IA. Em avaliações de agentes, o modelo não apenas responde a uma pergunta: ele pode planejar passos, escrever código, executar tentativas, revisar erros e usar ferramentas. Quando o teste impõe um teto baixo de tokens, ele limita o tempo e o espaço de trabalho disponíveis para essas etapas. O resultado pode ser uma fotografia incompleta das capacidades reais, especialmente em tarefas longas ou abertas.
O que o estudo mediu
De acordo com o resumo divulgado, o estudo cobriu sete benchmarks e comparou resultados sob diferentes orçamentos de tokens. Em tarefas de engenharia de software, a taxa de sucesso aumentou cerca de 25% quando o orçamento de tokens foi multiplicado por dez. Isso sugere que parte do desempenho de agentes não aparece quando a avaliação usa configurações muito econômicas ou padronizadas demais.
O ponto central não é apenas que modelos fazem melhor com mais recursos, algo esperado em muitos sistemas computacionais. A descoberta mais importante é que essa diferença pode alterar a percepção sobre a velocidade do progresso. Segundo o AISI, dependendo do orçamento de tokens usado, o avanço real na fronteira dos modelos pode ser aproximadamente 60% mais íngreme do que medições anteriores indicavam.
Por que agentes são diferentes de chatbots comuns
Benchmarks clássicos foram desenhados, em grande parte, para medir respostas relativamente contidas: resolver um problema, classificar um item, responder a uma pergunta ou completar uma tarefa delimitada. Agentes de IA operam de maneira mais processual. Eles podem decompor um objetivo em etapas, testar hipóteses, executar comandos, consultar arquivos, chamar ferramentas e corrigir a própria rota quando encontram falhas.
Esse comportamento torna o orçamento de tokens uma variável metodológica central. Tokens funcionam como uma combinação de memória de trabalho, tempo de deliberação e espaço para interação. Em tarefas de software, por exemplo, um agente com pouco orçamento pode parar antes de diagnosticar um erro, enquanto outro com orçamento maior pode rodar mais ciclos de depuração e chegar a uma solução funcional.
- O estudo citado analisou sete benchmarks, segundo o The Decoder.
- Em tarefas de engenharia de software, a taxa de sucesso subiu cerca de 25% com um orçamento de tokens dez vezes maior.
- Modelos mais novos parecem se beneficiar mais do aumento de orçamento computacional.
- AISI estima que a leitura do progresso na fronteira pode ficar cerca de 60% mais acentuada sob certos orçamentos de tokens.
Implicações para segurança e regulação
Para um órgão como o AI Security Institute, a consequência é clara: avaliações de risco que usam limites estreitos podem deixar passar capacidades relevantes. Se um agente parece incapaz de concluir uma tarefa sob um orçamento baixo, isso não significa necessariamente que ele continuará incapaz em um ambiente com mais recursos, mais tempo ou mais tentativas. Essa diferença importa em áreas como cibersegurança, automação de programação, pesquisa científica assistida por IA e operação autônoma de ferramentas.
Também há implicações para comparações comerciais entre modelos. Rankings públicos e relatórios técnicos muitas vezes usam resultados de benchmarks como uma medida objetiva de avanço. Se o orçamento computacional muda substancialmente o resultado, comparar modelos sem explicitar esse parâmetro pode favorecer interpretações equivocadas. Um modelo pode parecer apenas marginalmente melhor em uma configuração restrita, mas muito mais capaz quando consegue explorar estratégias mais longas.
O achado reforça uma discussão já presente entre pesquisadores: medir agentes exige mais do que uma pontuação final. É necessário registrar orçamento de tokens, número de tentativas, acesso a ferramentas, tempo de execução, regras de parada, custo e grau de autonomia permitido. Sem essas informações, a métrica pode misturar capacidade do modelo, desenho do ambiente e restrições artificiais do teste.
O que ainda não está confirmado
A reportagem do The Decoder resume os principais números atribuídos ao AISI, mas nem todos os detalhes metodológicos aparecem no material fornecido. Ainda é preciso verificar, no estudo completo, quais benchmarks foram usados, quais modelos entraram na comparação, como os orçamentos foram definidos, quais tarefas de software foram incluídas e se houve controle para custo, tempo e repetição de tentativas.
Também não está confirmado que o mesmo efeito ocorra com igual intensidade em todos os domínios. Tarefas de engenharia de software costumam recompensar ciclos de tentativa e erro, então podem se beneficiar mais de orçamentos longos. Já avaliações factuais simples, classificação de texto ou problemas com resposta curta podem apresentar ganhos menores. A generalização depende do tipo de tarefa e do modo como o agente interage com o ambiente.
Para laboratórios de IA, o próximo passo provável é publicar resultados com curvas de desempenho por orçamento, em vez de uma única pontuação. Para reguladores, a lição é tratar benchmarks como instrumentos sensíveis a configuração, não como medidas absolutas. E para empresas que adotam agentes, o estudo sugere que testes internos devem simular condições reais de uso, incluindo limites de custo, tempo, ferramentas disponíveis e tolerância a múltiplas tentativas.
O nosso prisma
A descoberta muda a conversa porque desloca a pergunta de “qual modelo pontuou melhor?” para “sob quais condições ele foi medido?”. Agentes de IA são sistemas que melhoram quando têm margem para tentar, revisar e usar ferramentas, então benchmarks com orçamento fixo podem esconder capacidades relevantes para segurança. Na prática, empresas e governos precisarão avaliar desempenho e risco como curvas de custo-capacidade, não como placares únicos. Isso também pressiona laboratórios a serem mais transparentes sobre tokens, tentativas e ambientes usados em testes públicos.
Recursos relacionados: aulas de inteligência artificial em português · aprender IA aplicada en español
Fonte: The Decoder
Perguntas frequentes
O que o AI Security Institute encontrou?
Segundo o estudo citado pelo The Decoder, benchmarks com limites rígidos de tokens tendem a medir menos do que agentes de IA conseguem fazer quando recebem mais orçamento computacional.
Por que aumentar o orçamento de tokens muda o resultado?
Agentes podem usar mais tentativas, raciocínio intermediário, chamadas de ferramentas e correções de erro, elevando a taxa de sucesso em tarefas complexas.
Isso prova que os modelos são sempre mais capazes do que parecem?
Não necessariamente. O resultado indica uma distorção em benchmarks analisados, mas a magnitude pode variar conforme tarefa, modelo, ambiente e metodologia.
Receba o Jornal da IA todos os dias
As notícias de inteligência artificial que importam no Brasil — com o nosso prisma e sempre com as fontes. Grátis.
