Multi-agentes locais com Ollama, LiteLLM e vLLM
Rodando orquestração de agentes sem depender de APIs pagas: trade-offs de latência, VRAM e quando vale a pena sair do local.
Rodar LLMs localmente deixou de ser curiosidade de hobista. Com modelos como Llama 3, Mistral e Qwen em tamanhos de 7B a 70B, é possível montar sistemas de agentes sem enviar dados sensíveis para APIs externas e sem surpresas na fatura no fim do mês.
O stack que uso é simples: Ollama para prototipagem e inferência local, LiteLLM como camada de abstração de modelo, e vLLM quando preciso de throughput alto em GPU. LangGraph ou CrewAI cuidam da orquestração. O mesmo código que roda local pode rodar em produção apenas trocando o provider no LiteLLM.
O trade-off principal é latência versus custo. Um modelo local de 8B em CPU pode levar 5-10 segundos para uma resposta completa. Em GPU, cai para 1-2 segundos. Para tarefas assíncronas — processamento de documentos, análise de código, geração de relatórios — essa latência é aceitável. Para chat síncrono com usuário, talvez não seja.
VRAM é o segundo gargalo. Um modelo de 13B em FP16 precisa de ~26 GB de VRAM. Com quantização 4-bit, cai para ~8 GB, com perda pequena de qualidade em tarefas técnicas. Planeje a alocação de memória como você planeja CPU: é recurso finito e fácil de estourar.
Quando vale a pena sair do local? Quando você precisa de modelos maiores do que consegue rodar economicamente, quando a latência é crítica ou quando o custo de hardware próprio supera o custo de API. Minha regra prática: local para dados sensíveis e workloads previsíveis; API para picos, modelos frontier e experimentação rápida.
Está trabalhando em algo parecido? Fale sobre o seu projeto.