Início Modelos Treino com pooling de tokens reduz vetores de busca sem perder qualidade

Treino com pooling de tokens reduz vetores de busca sem perder qualidade

0
47
Treino com pooling de tokens reduz vetores de busca sem perder qualidade

Um experimento publicado no blog do Hugging Face descreve o treino com pooling de tokens para modelos de embedding multi-vetor. Com fator de pooling 4, o modelo treinado normalmente mantém 94,6% do nDCG@10 não agrupado no NanoBEIR, com 4x menos vetores de documento; o treino ciente do pooling eleva essa retenção a 97,8% no mesmo orçamento de armazenamento. Os resultados vêm de um experimento único, com um epoch sobre 120 mil triplas do MS MARCO, sem busca de hiperparâmetros.

Modelos de embedding multi-vetor, como o ColBERT, dão a cada token da consulta a chance de encontrar sua melhor correspondência em um documento. Isso os torna expressivos para busca, mas o custo aparece no armazenamento: segundo o post do blog do Hugging Face, um corpus com milhões de documentos pode conter centenas de milhões de vetores.

A proposta descrita no artigo é o pooling de tokens, que reduz essas representações agrupando vetores de tokens semelhantes. O problema é que, quanto mais agressiva a compressão, maior o risco de perder informação útil. O treino ciente do pooling ensina o encoder a preservar o que importa quando seus vetores são fundidos.

Como o pooling agrupa vetores

O HierarchicalTokenPooling usa clustering hierárquico de Ward. Ele começa com um grupo por vetor de token e vai fundindo repetidamente os dois grupos que provocam o menor aumento na dispersão interna, medida pela soma das distâncias quadráticas de cada vetor à média do grupo. Cada grupo é então representado por sua média, normalizada de novo para o cálculo de similaridade MaxSim.

Com pool_factor=4, os documentos mantêm aproximadamente um quarto de seus vetores originais, de modo que documentos mais longos conservam proporcionalmente mais capacidade. Por padrão, o primeiro token é protegido da fusão e o pooling se aplica apenas aos embeddings de documentos, sem alterar os de consulta.

O texto também descreve controles alternativos, como limites fixos de vetores e pooling adaptativo com um limiar de distância compartilhado. Esse limiar pode ser calibrado a partir de uma amostra do corpus para atingir uma média-alvo de vetores por documento, e o resultado é uma média: documentos individuais podem ficar acima ou abaixo dela.

O treino que ensina o modelo a sobreviver à compressão

O pooling já pode ser útil em um modelo multi-vetor comum, mas o post observa que a dificuldade surge quando um documento contém uma distinção relevante para a recuperação e a fusão de vetores torna essa distinção mais difícil de recuperar. A solução é incluir a representação comprimida no próprio objetivo de treino.

No exemplo, cada lote de treino contribui com duas perdas: uma de recuperação com os embeddings originais e outra após comprimir os documentos a aproximadamente um quarto dos vetores. As duas têm peso igual e atualizam o mesmo encoder, que recebe feedback sobre a recuperação antes e depois da compressão.

Como o clustering de Ward toma decisões discretas, o treino usa um estimador straight-through para levar gradientes dos vetores agrupados de volta aos tokens que os compõem, sem diferenciar as atribuições de grupo. O componente MultiVectorTokenPoolingLoss envolve uma perda de recuperação multi-vetor existente e aplica os poolers escolhidos.

O autor compara o princípio ao dos embeddings Matryoshka, que aplicam o objetivo de recuperação em várias larguras para que prefixos menores continuem úteis. Aqui, o objetivo é aplicado a representações com menos vetores de token.

Resultados e limites do experimento

Foram treinados dois modelos a partir do answerdotai/ModernBERT-base, cada um com uma projeção de tokens de 128 dimensões: um apenas com a perda contrastiva em cache e outro com essa perda envolvida pelos objetivos sem pooling e com fator 4. Ambos usaram um epoch sobre as mesmas 120 mil triplas do MS MARCO, semente 42 e configurações de inicialização e otimização equivalentes, com teto de 300 tokens no treino.

A avaliação foi feita no NanoBEIR@13, com nDCG@10 médio. Com pool_factor=4, o nDCG@10 sobe de 49,03 para 51,23, enquanto o modelo armazena 74,8% menos vetores de documento que a recuperação sem pooling. A retenção passa de 94,6% para 97,8%, calculada como o nDCG@10 médio com pooling dividido pelo nDCG@10 médio sem pooling de cada modelo. A recuperação sem pooling também melhora, de 51,84 para 52,39.

Os ganhos se estendem a limites fixos e ao pooling adaptativo, mesmo com treino usando apenas a representação completa e o pooling proporcional. Com média de 29,58 vetores por documento, o pooling adaptativo retém 97,3% do nDCG@10 sem pooling do modelo ciente do pooling, armazenando 84,7% menos vetores de documento; o modelo treinado normalmente retém 93,3% no mesmo orçamento.

O post é explícito sobre as condições: apenas a perda difere entre os dois experimentos e não houve busca de hiperparâmetros. Os números se referem a esse par de modelos, a esse conjunto de dados e a essa configuração, e o próprio texto recomenda comparar com uma execução de perda comum equivalente antes de adotar a abordagem em outro cenário.

Para quem precisa reduzir o índice, o autor sugere uma ordem de prioridades: quantização de embeddings para 4, 2 ou 1 bit, por exemplo via Fast-PLAID; pooling de tokens, opcionalmente com ajuste fino ciente do pooling; e embeddings Matryoshka para diminuir a dimensionalidade de cada vetor. As abordagens podem ser combinadas, e a recomendação é avaliar tamanho de índice e qualidade de recuperação no mecanismo de busca e no corpus reais.

O exemplo completo de treino e um script de avaliação acompanham o post, medindo recuperação sem pooling, limites de 64, 32, 16, 8 e 4 vetores e fatores de pooling de 2 a 6. O texto também cita trabalhos anteriores sobre pooling em recuperação multi-vetor, incluindo estudos de Stefan Josef, de Benjamin Clavié e colaboradores e de Antoine Chaffin.

Fonte original: Hugging Face: Token Pooling-Aware Training for Multi-Vector Embedding Models.

Receba o Jornal da IA todos os dias

As notícias de inteligência artificial que importam no Brasil, com o nosso prisma e sempre com as fontes. Grátis.

Sem spam. Cancele quando quiser.

LEAVE A REPLY

Please enter your comment!
Please enter your name here