O que é top-p ou nucleus sampling?

Conteúdo revisado:

Top-p: Top-p é um controle de amostragem que restringe a escolha ao menor conjunto de tokens cuja probabilidade acumulada alcança um limite. O conjunto muda a cada etapa conforme a distribuição do modelo.

Como funciona

Com limite menor, há menos candidatos; com limite maior, entram alternativas menos prováveis. Top-p não é percentual de precisão ou qualidade. Ele interage com temperatura e com a implementação do provedor.

Exemplo prático

Uma aplicação compara respostas com mesmo prompt e modelo mudando apenas top-p. Registra validade, repetibilidade e erros, sem concluir a partir de uma única saída.

Como avaliar com rigor

Use casos representativos, repita amostras, controle versão, meça formato e fatos e mantenha padrões quando não houver motivo avaliado para mudar.

Lista de verificação

  • Defina o resultado esperado antes do teste.
  • Meça o sistema completo, não uma resposta isolada.
  • Documente modelo, versão, dados, controles e limitações.

Referência primária: OpenAI API — parâmetros de resposta

Perguntas frequentes

Qual é a definição curta de top-p?

Top-p é um controle de amostragem que restringe a escolha ao menor conjunto de tokens cuja probabilidade acumulada alcança um limite. O conjunto muda a cada etapa conforme a distribuição do modelo.

Como avaliar?

Use casos representativos, repita amostras, controle versão, meça formato e fatos e mantenha padrões quando não houver motivo avaliado para mudar.