Tokenização
O Que É Tokenização
Tokenização é o processo de dividir texto em unidades menores chamadas tokens, que são a forma como modelos de linguagem “leem” e processam informação. Diferente do que o nome pode sugerir, um token não é simplesmente uma palavra — pode ser uma palavra inteira, uma parte de palavra, um símbolo ou um caractere, dependendo do algoritmo de tokenização e do vocabulário do modelo.
Esse processo é invisível para a maioria dos usuários de IA, mas é fundamental para entender por que modelos se comportam de determinadas formas, por que alguns textos custam mais para processar e por que certas palavras em português podem gerar mais erros do que equivalentes em inglês. A tokenização é a primeira e uma das mais importantes etapas no pipeline de processamento de qualquer modelo de linguagem.
Cada modelo tem seu próprio tokenizador e vocabulário. GPT-4 usa o cl100k_base com vocabulário de ~100.000 tokens. Claude usa um tokenizador similar. Modelos como LLaMA têm tokenizadores diferentes, otimizados para os datasets com os quais foram treinados. Essa heterogeneidade significa que o mesmo texto pode gerar quantidades diferentes de tokens dependendo do modelo — um detalhe importante na comparação de custos entre provedores.
Como Funciona
O algoritmo mais comum na IA moderna é o BPE (Byte Pair Encoding), desenvolvido para compressão de dados e adaptado para tokenização de texto. O BPE começa com um vocabulário de caracteres individuais e aprende progressivamente quais sequências de caracteres aparecem com maior frequência, fundindo-as em tokens únicos.
O processo de treinamento do tokenizador funciona assim: começa com um texto enorme, representa cada caractere como token separado, e então iterativamente funde os pares de tokens mais frequentes em um novo token combinado. Após milhares de iterações, palavras comuns como “the”, “de”, “que” se tornam tokens únicos, enquanto palavras raras são decompostas em subpalavras reconhecíveis.
Outras variantes incluem o WordPiece (usado no BERT), que usa uma abordagem similar mas com critério de fusão diferente, e o SentencePiece (usado em LLaMA e T5), que opera diretamente em texto Unicode sem tokenização por espaços — o que é vantajoso para línguas sem separação clara de palavras como chinês e japonês.
Para o português brasileiro, a tokenização tem algumas peculiaridades:
- Palavras com acentos (ação, coração, físico) frequentemente são divididas em mais tokens
- Palavras compostas e expressões idiomáticas brasileiras raramente existem como tokens únicos
- Siglas comuns no Brasil (CPF, CNPJ, MEI, IPCA) podem ser tokenizadas de formas inesperadas
- Palavras com variações ortográficas regionais são tratadas como palavras distintas
Exemplo Prático
Uma empresa de contabilidade em Porto Alegre integrou o OpenClaw para responder dúvidas de clientes sobre declaração de imposto de renda. A equipe notou que o assistente às vezes tinha problemas com termos específicos da Receita Federal brasileira.
Ao investigar, descobriram que palavras como “DIMOB”, “DIRF”, “Carnê-Leão” e “GCAP” eram tokenizadas de formas fragmentadas — o modelo nunca tinha visto esses termos com frequência suficiente no treinamento para criar tokens específicos para eles. A solução foi enriquecer o system prompt com definições desses termos e usar exemplos concretos, ajudando o modelo a processar melhor essas expressões mesmo com tokenização fragmentada.
Além disso, ao perceber que consultas fiscais em português consumiam 20-30% mais tokens do que estimativas baseadas em inglês, a equipe ajustou o planejamento de custos. Para 500 consultas mensais, isso fazia diferença de R$ 50-80 por mês — irrelevante individualmente, mas significativo em escala.
Importância para Empresas
Para desenvolvedores e gestores de tecnologia que implementam soluções de IA no Brasil, entender tokenização tem implicações práticas diretas. A primeira é de custo: texto em português geralmente usa 20-40% mais tokens do que texto equivalente em inglês. Isso deve entrar nos cálculos de TCO (Total Cost of Ownership) de qualquer solução de IA.
A segunda implicação é de qualidade. Termos técnicos brasileiros — siglas de órgãos governamentais, expressões jurídicas, terminologia de setores específicos — podem ser tokenizados de forma fragmentada, o que pode afetar a qualidade das respostas. Técnicas como fine-tuning com dados do setor ou uso cuidadoso de RAG podem mitigar esse problema.
A terceira implicação é de design de sistema. Ao escrever system prompts e templates de prompt, a concisão tem valor duplo: melhora a clareza das instruções e reduz custos. Cada palavra no system prompt é processada em cada requisição — um system prompt verboso com 2.000 tokens, multiplicado por 100.000 requisições mensais, representa 200 milhões de tokens extras de custo.
Tokenização no OpenClaw
O OpenClaw utiliza informações de tokenização para otimizar automaticamente o uso de contexto. A plataforma calcula o número de tokens antes de enviar cada requisição, implementa estratégias de compressão quando o contexto se aproxima do limite, e exibe métricas de uso de tokens no dashboard para facilitar monitoramento de custos.
Para usuários avançados, o OpenClaw permite inspecionar como determinados textos são tokenizados via a ferramenta de debug, útil para entender por que certos prompts custam mais do que o esperado ou por que o modelo responde de forma diferente a variações sutis de texto. Esse nível de visibilidade é importante para otimização de sistemas em produção.
Termos Relacionados
Perguntas Frequentes
Por que o mesmo texto tem tokens diferentes em modelos distintos? Cada modelo usa seu próprio tokenizador com vocabulário diferente. GPT-4, Claude e LLaMA foram treinados com tokenizadores distintos, então o mesmo texto pode ter 100 tokens em um modelo e 120 em outro. Sempre use o tokenizador específico do modelo que você está usando para contagens precisas.
BPE é o único algoritmo de tokenização? Não. BPE, WordPiece e SentencePiece são os mais comuns. Há também tokenização por caracteres (usada em alguns modelos mais antigos) e tokenização por bytes (usada em modelos que precisam lidar com qualquer texto Unicode sem vocabulário fixo). Cada abordagem tem trade-offs diferentes.
Emojis consomem muitos tokens? Sim, emojis frequentemente consomem 1-3 tokens cada, pois são representados como bytes especiais no Unicode. Em aplicações de atendimento ao cliente onde clientes usam muitos emojis, isso pode aumentar o consumo de tokens de forma significativa.
Números são tokenizados como texto ou de outra forma? Números são tratados como texto e tokenizados de acordo com o vocabulário. Números simples como “42” podem ser um token; números longos como “1234567890” são divididos em múltiplos tokens. Isso significa que cálculos matemáticos com números grandes consomem mais tokens do que com números pequenos.
Tokenização afeta a precisão do modelo em tarefas específicas? Sim, indiretamente. Se um termo técnico importante é tokenizado em muitos fragmentos sem significado próprio, o modelo pode ter mais dificuldade em “entender” o conceito do que se fosse um único token. Esse é um dos motivos pelos quais fine-tuning com dados do domínio pode melhorar a qualidade do modelo em terminologia especializada.