Montar una demo de RAG es fácil: apuntas un LLM a una base de datos vectorial, le haces una pregunta cuya respuesta ya conoces, y lo ves funcionar. Un sistema RAG que puedas poner delante de tus clientes es un problema distinto: uno en el que los modos de fallo son silenciosos, lo que está en juego es real, y un "me funcionó cuando lo probé" casi no te dice nada sobre cómo se comportará en producción.
El grounding es un problema de datos antes que un problema de modelo
La mayoría de los problemas de calidad en RAG se originan en la recuperación (retrieval), no en la generación. La estrategia de chunking, la actualidad de los embeddings y qué tan bien refleja tu índice la estructura real de tus documentos fuente importan más que qué modelo se coloca encima. Antes de ajustar prompts, analizamos a fondo si siquiera se está recuperando el pasaje correcto; si no es así, ninguna ingeniería de prompts arreglará la respuesta.
Evalúa contra tareas reales, no contra sensaciones
"Parece que funciona bien" no es una métrica. Un sistema RAG en producción necesita un conjunto de referencia (golden set) con preguntas reales y respuestas de corrección conocida, ejecutado automáticamente ante cada cambio en el pipeline: lógica de recuperación, prompt o versión del modelo. Medimos el grounding (si la respuesta realmente proviene del contexto recuperado), la relevancia y una tasa de alucinación, y tratamos cualquier retroceso en estas tres métricas como un bloqueante, igual que tratarías una prueba fallida en CI.
Las barreras de seguridad son lo que permite lanzarlo con tranquilidad
Las citas que enlazan de vuelta a los pasajes fuente, un comportamiento de rechazo bien definido para preguntas fuera del alcance del sistema, y un manejo explícito de datos personales (PII) tanto en el contexto recuperado como en la salida del modelo, no son extras deseables: son lo que convierte un prototipo ingenioso en algo que legal y seguridad realmente aprobarán.
En producción es donde ocurre el aprendizaje real
Una vez que está en vivo, el trabajo no ha terminado. La calidad de la recuperación se degrada a medida que cambian tus documentos fuente. Las preguntas de los usuarios evolucionan de formas que tu golden set original no anticipó. Instrumentamos el tráfico de producción exactamente para esto: muestreamos consultas reales, marcamos respuestas de baja confianza para revisión, y retroalimentamos esa señal al conjunto de evaluación de forma periódica, de modo que el sistema se vuelva más confiable con el tiempo en lugar de degradarse silenciosamente.
Nada de esto tiene que ver con elegir un modelo más sofisticado. Los equipos que lanzan IA generativa en la que los clientes realmente confían son los que tratan el grounding, la evaluación y las barreras de seguridad como trabajo de ingeniería de primer nivel, con el mismo rigor que aplicarían a cualquier otro sistema en producción.