RAG em produção: o que os tutoriais não te contam
Chunking, avaliação de recuperação, memória e por que seu protótipo de demo morre com dados reais — um guia pragmático com Qdrant e Mem0.
A maioria dos tutoriais de RAG para no momento em que o retrieval devolve os três primeiros chunks e o LLM responde algo plausível. Em produção, isso não basta: documentos reais têm tabelas, listas, referências cruzadas e atualizações frequentes que quebram a suposição de que cada chunk é independente.
O primeiro erro grave é tratar chunking como um parâmetro técnico isolado. Tamanho e overlap importam, mas a estrutura semântica importa mais. Um contrato com cláusulas condicionais não pode ser partido ao meio sem perder o sentido. Minha abordagem atual é híbrida: chunking por subtítulos para documentos estruturados, chunking por parágrafos para textos narrativos e, quando necessário, chunks com metadados de seção para preservar contexto.
O segundo erro é não medir retrieval. Você precisa de um conjunto de perguntas com ground-truth e métricas como recall@k, MRR e NDCG. Sem isso, todo ajuste no prompt ou no embedding é tiro no escuro. Eu começo com 50 questões representativas e uso elas como suite de regressão toda vez que mudo o parser, o modelo de embedding ou a estratégia de chunking.
Memória é o terceiro pilar. RAG sem memória é um chatbot com amnésia: ele repete informações, perde o fio da conversa e gera respostas genéricas. Ferramentas como Mem0 ou simples stores de mensagens com resumo progressivo fazem diferença real na experiência do usuário.
Por fim, o vector store não precisa ser exótico. Qdrant, Pinecone, Chroma ou mesmo PostgreSQL com pgvector funcionam. O que separa o protótipo da produção é o pipeline de ingestão: parsing robusto, metadados consistentes, reprocessamento incremental e observabilidade de cada etapa.
Está trabalhando em algo parecido? Fale sobre o seu projeto.