Transformer (Arquitetura)
O que é a arquitetura Transformer, como funciona o mecanismo de atenção e por que revolucionou a IA. Explicação em português.
Transformer é a arquitetura de rede neural que revolucionou o processamento de linguagem natural a partir de 2017. Criada pelo Google no paper ‘Attention Is All You Need’, é a base de todos os modelos de linguagem modernos como GPT-4, Claude, Gemini e LLaMA.
A inovação central do Transformer é o mecanismo de atenção (self-attention):
- Entrada — o texto é convertido em vetores numéricos (embeddings)
- Self-Attention — cada palavra “olha” para todas as outras palavras, calculando relevância
- Multi-Head Attention — múltiplas “cabeças” capturam diferentes tipos de relações
- Feed-Forward — redes neurais processam as representações
- Saída — probabilidades para a próxima palavra
Diferente de RNNs (que processam sequencialmente), Transformers processam toda a sequência em paralelo, permitindo treinar em datasets massivos com GPUs.
Considere a frase “O banco está fechado porque é feriado”:
- O Transformer entende que “banco” se refere a instituição financeira (não assento)
- Associa “fechado” com “feriado” mesmo estando separados
- Essa capacidade de entender contexto é o que torna assistentes como o OpenClaw tão eficazes
Todos os modelos que o OpenClaw suporta — Claude, GPT-4, Gemini e modelos locais via Ollama — são baseados na arquitetura Transformer. Quando você conversa com o OpenClaw, é um Transformer que está gerando cada resposta, palavra por palavra.
- LLM — modelos construídos com Transformers
- Embedding — a representação vetorial usada por Transformers
- Token — as unidades que Transformers processam
- Guia de Modelos — compare Transformers disponíveis
- Tutoriais — aprenda a usar esses modelos na prática