Início Modelos CWE-bench v2 abre 100 tarefas para testar modelos na correção de falhas...

CWE-bench v2 abre 100 tarefas para testar modelos na correção de falhas de segurança

0
76
CWE-bench v2 abre 100 tarefas para testar modelos na correção de falhas de segurança

O CWE-bench v2, do Collinear AI, publicou um conjunto aberto de 100 tarefas em que um agente recebe o checkout de um repositório open-source real e uma instrução curta para encontrar e corrigir uma falha de segurança sem quebrar o funcionamento existente. As tarefas cobrem 91 CWEs e a pontuação é totalmente programática, com verificadores determinísticos. Entre os 11 modelos avaliados, o Gemini 4 Argon lidera com 67,8% de pass@1 e 81,0% de pass@4, seguido de perto pelo Claude Opus 5.5 (67,3% e 78,0%). Segundo o Collinear AI, 95 tarefas são resolvidas por pelo menos um modelo, mas o líder ainda falha 19% do conjunto em todas as tentativas.

O Collinear AI publicou o CWE-bench v2, uma versão ampliada do seu benchmark para testar os limites de capacidades cibernéticas de modelos de fronteira. Segundo o post no blog do Hugging Face, a novidade central é a abertura de um conjunto público de 100 tarefas que qualquer pessoa pode executar e usar para avaliar seus modelos.

O formato segue o da versão anterior. Um agente recebe o checkout de um repositório open-source real e uma instrução curta, com o objetivo de encontrar e corrigir uma fraqueza de segurança sem quebrar a funcionalidade existente. A pontuação é totalmente programática, o que torna os resultados determinísticos e reproduzíveis sem custo extra, de acordo com a fonte.

Cobertura ampla e verificação criteriosa

A fonte afirma que o objetivo é ser exaustivo: um defensor precisa antecipar as formas pelas quais um atacante poderia entrar e acertar todas as vezes. As 100 tarefas cobrem 91 CWEs diferentes, abrangendo uma variedade ampla de classes de vulnerabilidade. Na avaliação do Collinear AI, um modelo que se sai bem nesse conjunto precisa entender múltiplas superfícies de fraqueza, e não apenas reconhecer um padrão familiar.

O texto descreve um processo de curadoria em que cada tarefa foi checada contra uma lista de perguntas: se a instrução parece realista e não um cenário de avaliação, se todo comportamento avaliado pode ser inferido a partir da instrução, se o verificador checa comportamento correto em vez da estrutura de uma correção específica, se o código inicial falha e a correção de referência passa, se a funcionalidade original continua funcionando com a nova correção e se os verificadores rejeitam soluções memorizadas, como o patch upstream conhecido.

Além disso, segundo a publicação, cada tarefa passou por revisão manual. Os verificadores programáticos foram curados com o auxílio de painéis de juízes baseados em LLM, que os orientaram na direção de dureza e justiça. O Collinear AI também mantém um conjunto reservado (held-out) para acompanhar o progresso em tarefas que nenhum modelo viu; para avaliar um modelo nesse conjunto, o contato indicado é cyber@collinear.ai.

Resultados e custo por rollout

Os resultados são acompanhados em dois lugares no Hub. O leaderboard na página do dataset do CWE-bench cobre modelos de pesos abertos e se atualiza sozinho: laboratórios e comunidade adicionam um resultado abrindo um PR no repositório do modelo com um arquivo de resultados. Para a comparação completa, incluindo modelos somente de API como Gemini, Claude e GPT, existe o Space do leaderboard do CWE-bench, onde novos modelos entram por PR no Space.

De acordo com a fonte, dos 11 modelos avaliados, o Gemini 4 Argon lidera com 67,8% de pass@1 e 81,0% de pass@4, logo à frente do Claude Opus 5.5, com 67,3% de pass@1 e 78,0% de pass@4. O texto não apresenta a lista completa com a posição de cada um dos 11 modelos.

A publicação destaca que 95 tarefas são resolvidas por pelo menos um modelo, o que indica que o conjunto é solucionável. Ainda assim, mesmo o líder falha 19% do conjunto em todas as tentativas, sinal de que a cauda longa está longe de ser resolvida.

Sobre custo, o Collinear AI aponta três modelos na fronteira de Pareto: DeepSeek V4.1 Flash (1017), Claude Opus 5.5 e Gemini 4 Argon. O DeepSeek alcança 57,0% de pass@1 a US$ 0,04 por rollout, o Opus acrescenta dez pontos a US$ 1,83 e o Gemini fica à frente a US$ 3,92, segundo os números apresentados no post.

Como executar e usar em treinamento

Cada tarefa é um item autocontido do formato Harbor: um ambiente Dockerizado, uma instrução e um verificador determinístico. O dataset inclui um arquivo registry.json, o que permite ao Harbor rodar o benchmark inteiro diretamente a partir do repositório no Hugging Face, sem clonar nada manualmente, conforme a fonte.

No exemplo descrito, a opção -k 4 executa 4 tentativas por tarefa, e a pontuação reportada é a média de recompensa sobre todas as 400 tentativas. O dataset é restrito (gated): é preciso aceitar as condições de acesso na página do dataset antes de usá-lo. Como o Harbor busca as tarefas com git, o post orienta salvar o token do Hugging Face no auxiliar de credenciais do git uma única vez.

As tarefas também recebem a tag rl-environment, o que significa que os mesmos ambientes e verificadores podem fornecer recompensas para treinar agentes defensivos, e não apenas para avaliá-los. O conjunto público, o grader e o harness são abertos, e o Collinear AI diz receber feedback sobre qualquer tarefa e contribuições para o conjunto público.

Vale notar uma incerteza: o post não detalha a composição completa do conjunto reservado nem os critérios exatos usados pelos painéis de juízes de LLM na curadoria dos verificadores. Também não são divulgados os resultados individuais de cada um dos 11 modelos além dos líderes citados. Os números acima são os que aparecem no texto da fonte e não foram verificados de forma independente.

Fonte original: Hugging Face: CWE-bench v2: More coverage, quality, and transparency.

Receba o Jornal da IA todos os dias

As notícias de inteligência artificial que importam no Brasil, com o nosso prisma e sempre com as fontes. Grátis.

Sem spam. Cancele quando quiser.

LEAVE A REPLY

Please enter your comment!
Please enter your name here