A Hugging Face publicou uma receita reproduzível para treinar adaptadores LoRA com aprendizado por reforço dentro do próprio harness do agente. Segundo o post, no Qwen3.8-27B o adaptador do Pi eleva o pass@1 no SWE-bench Pro de 39,2% para 64,7% e reduz chamadas de ferramenta em 56% a 72% nas tarefas resolvidas pelos dois modelos. Os três adaptadores também foram fundidos em um super adaptador que funciona nos três harnesses.
A Hugging Face publicou no seu blog uma receita reproduzível para treinar adaptadores de harness: LoRAs ajustados com aprendizado por reforço dentro do próprio harness de agente que o usuário pretende usar. O experimento usou o Qwen3.8-27B e três harnesses, Pi, OpenCode e Hermes Agent, em tarefas de engenharia de software.
A premissa, segundo o post, é que modelos são otimizados para desempenho geral e não para cada harness e distribuição de tarefas. Ao combinar modelo e harness sem ajuste, sobra desempenho e eficiência na mesa. O RL dentro do harness busca extrair o máximo dessa combinação específica.
O que a receita faz na prática
O texto descreve um pipeline de dados que reúne recuperação de tarefas de ambientes de RL existentes, geração com o Repo2RLEnv, validação com o OpenEnv e amostragem. Cada tarefa passa por uma triagem de metadados e por checagens semânticas do openenv validate, incluindo recompensa da solução de referência, lacuna em relação a não fazer nada e determinismo da repetição.
Segundo o post, 858 de 1.127 candidatos do Hub passaram na validação. As falhas foram majoritariamente problemas de infraestrutura, como imagens que não iniciavam, mas os controles também pegaram defeitos, incluindo uma tarefa do Tasksmith que aceitava implementação incompleta e um verificador do Terminal-Bench 2.1 que aceitava respostas sabidamente erradas.
Depois da validação vem a checagem de dificuldade. O Qwen3.8-27B tentou cada tarefa 4 vezes, ou 8 vezes numa amostra estratificada. De 442 tarefas pontuadas, acertou 151 sempre e 120 nunca; as 171 resolvidas apenas em algumas tentativas formaram o conjunto qualificado para o GRPO, já que tarefas sempre acertadas ou sempre erradas não geram sinal de aprendizado.
Resultados nos benchmarks
O treino usou o AsyncGRPOTrainer da TRL, com LoRA anexado via flag all-linear e modo de raciocínio desligado durante os rollouts. A recompensa combinou a correção do verificador com um bônus de eficiência de ferramentas de 0,1. Cada adaptador foi treinado em 2 GPUs B200, com uma dedicada ao servidor vLLM e outra ao treino.
No SWE-bench Pro, nas 51 tarefas mais difíceis, o adaptador do Pi foi de 39,2% para 64,7% de pass@1, com 15 tarefas recém-resolvidas contra 2 perdidas. O do Hermes subiu de 29,4% para 43,1% e o do OpenCode de 35,3% para 51,0%. No Terminal-Bench 2.1 completo, o Pi ganhou 16,3 pontos e o Hermes 14,1; o OpenCode ganhou 6,0 no total e 13,6 nas 66 tarefas que não participaram da escolha do checkpoint.
A eficiência também melhorou. Nas tarefas resolvidas tanto pelos adaptadores quanto pelo modelo base, houve 56% a 72% menos chamadas de ferramenta por tarefa no SWE-bench Pro e 53% a 70% menos no Terminal-Bench 2.1. O post atribui boa parte disso ao fato de o modelo raciocinar menos, chamar menos ferramentas e acertar de primeira com mais frequência.
Super adaptador, limites e dúvidas em aberto
Os três LoRAs foram fundidos por concatenação na dimensão de rank, gerando um adaptador de rank 96. A similaridade de cosseno entre os pares ficou em cerca de 0,01 a 0,02, o que o post descreve como o melhor cenário para fusão. O peso ½ foi escolhido como o melhor equilíbrio após comparação com ⅓ e com a soma simples.
Com o raciocínio desligado, o super adaptador melhora o modelo base nos seis pares harness-benchmark, com pass@1 médio de 39,5% para 49,0%, e reduz chamadas de ferramenta em 53% a 73%. Com o raciocínio ligado, vence em cinco dos seis pares e empata no sexto, com média de 55,5% para 63,5%. Ainda assim, o adaptador especialista de cada harness fica à frente em quatro dos seis pares quando o raciocínio está desligado.
O post reconhece limites. Os resultados não devem ser comparados entre harnesses diferentes, porque configurações padrão distintas, como o Pi não manter turnos anteriores de raciocínio, afetam o desempenho. O peso ½ foi escolhido no Terminal-Bench 2.1, então os números desse benchmark são ligeiramente otimistas. Em 300 tarefas do AutomationBench, com outro loop de agente, os adaptadores ficaram próximos do modelo base, com diferenças dentro do ruído, exceto talvez o Hermes.
Há também uma questão em aberto levantada após o lançamento. Em modo sem raciocínio, os adaptadores passaram a gerar pequenos trechos de texto antes de propor uma chamada de ferramenta, algo que o post chama de vazamento de raciocínio. A equipe diz que isso não invalida os resultados, mas planeja repetir o pipeline com modelos puramente de raciocínio e com treino híbrido.
Durante o treino, que somou 598 passos e 78.114 amostras, o plugin safeagents bloqueou 647 chamadas de ferramenta de um total de 1,3 milhão verificadas. Os adaptadores, GGUFs, tarefas de RL e o plugin estão disponíveis numa coleção pública no Hugging Face, segundo o post.
Fonte original: Hugging Face: Introducing harness adapters: adapt your favorite model to your harness to improve performance and cost.
Receba o Jornal da IA todos os dias
As notícias de inteligência artificial que importam no Brasil, com o nosso prisma e sempre com as fontes. Grátis.



