--- title: "Quantização de Modelos de IA" url: "https://openclaw.ia.br/glossario/quantizacao/" markdown_url: "https://openclaw.ia.br/glossario/quantizacao.MD" description: "O que é quantização em IA, como reduz o tamanho de modelos sem perder qualidade e como rodar LLMs no seu computador." date: "2026-02-06" author: "" --- # Quantização de Modelos de IA O que é quantização em IA, como reduz o tamanho de modelos sem perder qualidade e como rodar LLMs no seu computador. ## O Que É Quantização de Modelos de IA Quantização é a técnica de reduzir a precisão numérica dos pesos de um modelo de IA, diminuindo drasticamente o tamanho e o consumo de memória sem perda significativa de qualidade. Na prática, é o que torna possível rodar modelos de linguagem poderosos em computadores comuns — sem GPU de última geração, sem conta em serviço de nuvem caro. Para entender o conceito, é preciso saber que modelos de IA são essencialmente coleções de bilhões de números (os "pesos" ou parâmetros) que representam o conhecimento aprendido durante o treinamento. Esses números, por padrão, são armazenados com alta precisão — 32 bits por número (FP32), o equivalente a 4 bytes. Um modelo com 7 bilhões de parâmetros em FP32 ocupa cerca de 28 GB de memória, muito além do que a maioria dos computadores tem disponível. A quantização reduz essa precisão: de 32 bits para 16, 8 ou mesmo 4 bits. Um modelo de 7B parâmetros em 4 bits ocupa apenas 3,5 GB de RAM — cabendo confortavelmente num MacBook M2 ou num PC gamer comum. A perda de qualidade é real mas surpreendentemente pequena para a maioria das tarefas práticas, tornando a quantização uma troca muito favorável para quem quer rodar IA localmente. ## Como Funciona A quantização funciona mapeando valores em ponto flutuante de alta precisão para representações de menor precisão. Em termos simples: um número que antes precisava de 32 dígitos binários para ser representado com exatidão agora é representado por 8 ou 4 — com alguma perda de precisão, mas mantendo a "forma geral" do valor. | Formato | Bits | Tamanho (7B parâmetros) | RAM Necessária | Qualidade | |---------|------|-----------------------|----------------|-----------| | FP32 | 32 | ~28 GB | 32+ GB | Referência | | FP16 | 16 | ~14 GB | 16+ GB | Praticamente idêntica | | INT8 | 8 | ~7 GB | 8+ GB | Excelente | | Q4_K_M | 4 | ~4 GB | 6+ GB | Muito boa | | Q2_K | 2 | ~2 GB | 4+ GB | Razoável | Os métodos de quantização mais populares são: **GGUF** (formato otimizado para CPU desenvolvido pela comunidade llama.cpp, usado pelo Ollama), **GPTQ** (quantização pós-treinamento com conjunto de calibração, excelente para GPU), **AWQ** (Activation-Aware Weight Quantization, preserva melhor a qualidade em camadas críticas) e **BitsAndBytes** (quantização dinâmica em tempo de execução, popular para fine-tuning com PEFT/LoRA). A quantização pode ser aplicada de diferentes formas a diferentes partes do modelo. Técnicas avançadas como Q4_K_M (uma das variantes GGUF mais populares) usam precisão mista: camadas mais sensíveis do modelo mantêm precisão maior, enquanto camadas menos críticas são quantizadas mais agressivamente. Isso maximiza a redução de tamanho com mínimo impacto na qualidade. ## Exemplo Prático Uma consultoria em Curitiba quer implementar um assistente de análise de documentos jurídicos que processe contratos confidenciais. Por questões de privacidade e LGPD, não podem usar APIs em nuvem — os documentos não podem sair da rede interna. Sem quantização, rodar um modelo capaz de análise jurídica de qualidade (como Llama 3.1 70B) exigiria um servidor com 140+ GB de RAM ou múltiplas GPUs de alta especificação — investimento de dezenas de milhares de reais. Com quantização Q4_K_M, o modelo de 70B passa a ocupar ~40 GB de RAM, rodando num servidor corporativo padrão. O modelo de 8B quantizado, suficiente para análise de contratos mais simples, cabe nos ~6 GB de uma workstation comum e pode ser distribuído para cada analista. ```bash # Instalando modelo quantizado via Ollama ollama pull llama3.1:8b # Modelo de ~4.7GB roda em ~6GB de RAM — pronto para produção ``` A qualidade para análise de texto jurídico em português com o Llama 3.1 8B Q4 é excelente, com precisão comparável a modelos em nuvem para a maioria das tarefas práticas. ## Importância para Empresas Para empresas brasileiras, a quantização abre uma fronteira que antes estava reservada para grandes corporações com budget de infraestrutura expressivo: rodar IA de qualidade localmente. Isso tem implicações profundas para privacidade de dados, controle de custos e independência de fornecedores. Do ponto de vista de custos, a diferença pode ser dramatica. Uma empresa que usa um modelo em nuvem para análise de 10.000 documentos por mês pode gastar centenas ou milhares de reais em tokens de API. O mesmo volume com um modelo local quantizado rodando em hardware próprio tem custo marginal próximo de zero (apenas eletricidade). O payback do investimento em hardware geralmente ocorre em meses, dependendo do volume. Há também um aspecto estratégico: dependência de APIs de grandes provedores americanos cria vulnerabilidade de continuidade operacional. Se os preços aumentam, se os termos mudam, se há indisponibilidade do serviço — operações baseadas exclusivamente em APIs em nuvem são impactadas. A quantização, ao tornar o modelo local viável, oferece uma alternativa concreta de soberania tecnológica. ## Quantização no OpenClaw O OpenClaw integra nativamente com Ollama, que usa modelos no formato GGUF (quantizados). Isso significa que você pode configurar o OpenClaw para usar modelos 100% locais, sem enviar nenhum dado para a internet. Basta instalar o Ollama, baixar o modelo desejado (`ollama pull llama3.1` ou `ollama pull qwen2.5`) e configurar o OpenClaw para usar o endpoint local. Para a maioria dos casos de uso corporativos em português, recomenda-se modelos entre 8B e 32B parâmetros com quantização Q4_K_M ou Q5_K_M — o melhor equilíbrio entre qualidade, tamanho e velocidade de inferência. Modelos com 70B+ parâmetros oferecem qualidade superior mas exigem hardware mais robusto. A escolha depende do seu caso de uso específico e infraestrutura disponível. ## Termos Relacionados - [Modelo Local](/glossario/modelo-local/) - [Self-Hosted vs Cloud](/glossario/self-hosted-vs-cloud/) - [Privacidade de Dados](/glossario/privacidade-de-dados/) - [LLM](/glossario/llm/) - [Fine-Tuning](/glossario/fine-tuning/) ## Perguntas Frequentes **Quantização prejudica muito a qualidade do modelo?** Depende do nível. Quantização para FP16 é praticamente imperceptível. Q8 (8 bits) também é excelente. Q4 tem alguma degradação perceptível em tarefas muito precisas (matemática complexa, código técnico), mas para conversação, análise de texto e atendimento ao cliente em português, a diferença é mínima na prática. **Qual formato de quantização escolher para o OpenClaw?** Para uso com Ollama no OpenClaw, Q4_K_M oferece o melhor equilíbrio para a maioria dos casos. Se você tem RAM suficiente (12+ GB disponíveis), Q5_K_M ou Q8 podem ser preferíveis para tarefas que exigem maior precisão, como análise de código ou cálculos. **É possível quantizar um modelo fine-tunado ou customizado?** Sim. Modelos fine-tunados em qualquer base podem ser quantizados com as mesmas ferramentas (llama.cpp para GGUF, AutoGPTQ para GPTQ). É uma etapa comum no pipeline de deploy de modelos customizados. **Quantização e fine-tuning são compatíveis?** Sim, e BitsAndBytes foi desenvolvido especificamente para isso. A técnica QLoRA (Quantized LoRA) permite fazer fine-tuning de modelos grandes em hardware modesto, combinando quantização com o método de treinamento LoRA. É o que democratizou o fine-tuning de LLMs para uso doméstico e corporativo com recursos limitados.