Conteúdo revisado:
Um token é a menor unidade de texto que um modelo de linguagem processa. Em vez de ler letras ou palavras inteiras, o modelo divide o texto em pedaços, que podem ser palavras curtas, partes de palavras ou sinais de pontuação. Em média, um token equivale a cerca de 4 caracteres em inglês; em português, palavras com acentos costumam ser fragmentadas em mais tokens.
Os tokens são importantes por dois motivos práticos. Primeiro, eles definem o tamanho da janela de contexto, ou seja, quanto texto o modelo consegue considerar de uma vez. Segundo, o preço das APIs de IA, como as da OpenAI, Google e Anthropic, é cobrado por token de entrada e de saída, então entender tokens ajuda a estimar custos.
Quando um modelo gera texto, ele faz isso um token por vez, prevendo qual o próximo token mais provável com base em tudo o que veio antes.
Por que a contagem de tokens importa?
Tokens determinam quanto conteúdo cabe no contexto e frequentemente influenciam custo e tempo de resposta. A mesma frase pode gerar quantidades diferentes conforme idioma e tokenizador. Arquivos, instruções e saída compartilham o limite disponível em muitos sistemas. Para estimar um fluxo, use o tokenizador do modelo, teste documentos reais e reserve espaço para a resposta e para mensagens de sistema.
Referência primária: Google ML Crash Course — grandes modelos de linguagem
Exemplo prático
Uma frase de 20 palavras não corresponde necessariamente a 20 tokens: pontuação, acentos, números e idioma alteram a divisão. Ao resumir vários arquivos, instruções, trechos recuperados, histórico e resposta disputam o mesmo orçamento. A aplicação conta tokens com o tokenizador do modelo antes de enviar.
Como distinguir e avaliar
Token é uma unidade do tokenizador, não exatamente palavra, caractere ou conceito. O token usado para processar linguagem também é diferente do token de autenticação de uma API. Modelos distintos podem segmentar o mesmo texto de modos diferentes e cobrar ou limitar por contagens diferentes.
Checklist de avaliação
- Use o contador específico do modelo e versão.
- Reserve espaço para saída, sistema e chamadas de ferramenta.
- Teste documentos reais em todos os idiomas atendidos.
Conceitos relacionados: janela de contexto · LLM
Fonte primária adicional: OpenAI — tokenizador interativo
Notícias relacionadas
Perguntas frequentes
Quantos tokens tem uma palavra?
Depende do idioma e da palavra. Em inglês, uma palavra comum costuma ser 1 token. Em português, palavras longas ou com acentos podem virar 2 ou mais tokens. Uma estimativa prática é cerca de 4 caracteres por token.
Por que os tokens afetam o custo da IA?
Porque as APIs de IA cobram por tokens processados, somando entrada (seu prompt) e saída (a resposta). Textos mais longos consomem mais tokens e, portanto, custam mais.
