La cronología
Día 0. Francia presenta a Lucie, un chatbot desarrollado por la empresa Linagora con respaldo del Estado francés y anunciado como una respuesta europea a ChatGPT. La expectativa era alta y el encuadre, ambicioso: soberanía tecnológica, un modelo propio, una alternativa continental a los asistentes estadounidenses. El acceso se abre al público general.
Día 1. Empiezan a circular las capturas. Lucie recomienda comer «huevos de vaca» y los define como «huevos comestibles producidos por las vacas». A quien le plantea una operación aritmética elemental, le responde que 5×(3+2) da 17. Y sostiene, con el mismo aplomo con el que contestaría una pregunta legítima, que «la raíz cuadrada de una cabra es uno». Las redes hacen el resto.
Horas/días después. Al tercer día, Lucie sale de línea. La explicación oficial no apunta al modelo sino a la decisión de publicarlo: se trataba de un «proyecto académico en etapas tempranas», publicado «prematuramente» porque, en palabras de sus responsables, «nos dejamos llevar por el entusiasmo».
Lucie no falló por lo que no sabía: falló porque nadie le hizo esas preguntas antes que el público.
Qué pasó, en detalle
El desfase entre lo que Lucie era y lo que la gente creyó que era explica casi todo el episodio. Del lado del anuncio había un proyecto con respaldo estatal presentado como alternativa europea a los grandes asistentes conversacionales. Del lado técnico, según la explicación posterior de sus propios responsables, había un trabajo académico en etapa temprana. Entre esas dos cosas hay una distancia enorme, y esa distancia no la cubre el modelo: la cubre —o no— el proceso de lanzamiento.
Los errores que se viralizaron no fueron sutiles. No hablamos de un matiz jurídico mal interpretado ni de una fecha equivocada en una respuesta larga. Hablamos de un sistema afirmando que las vacas ponen huevos comestibles, resolviendo mal una multiplicación que un niño de diez años resuelve de memoria y calculando con total seguridad la raíz cuadrada de un animal. Son fallas que cualquier persona detecta en la primera media hora de uso. Ese es exactamente el punto: eran fallas triviales de encontrar, y aun así el primero en encontrarlas fue el público.
Tres días después del lanzamiento, el proyecto estaba fuera de línea. La reacción fue rápida y la explicación, inusualmente franca. Pocas organizaciones admiten en voz alta que publicaron algo antes de tiempo por entusiasmo. Ese reconocimiento es, para quien lo lee con atención, el hallazgo más útil de todo el caso. Cobertura en CNN.
Por qué pasó
Un modelo de lenguaje no sabe lo que no sabe. Genera la continuación más plausible del texto que recibe, y lo hace con el mismo tono seguro tanto cuando acierta como cuando se equivoca. No existe un temblor en la voz que le avise al usuario que esta respuesta en particular es una invención. Esperar que el sistema se autolimite es esperar una capacidad que no tiene.
De ahí se desprenden dos decisiones de producto que en el caso de Lucie no se tomaron. La primera es declarar el alcance. Una caja de chat abierta es una invitación implícita a preguntar cualquier cosa: aritmética, biología, derecho, recetas. Si nadie define qué preguntas atiende el sistema y qué hace con el resto, el sistema intentará contestarlas todas, porque para eso está construido. Un asistente que responde «eso no lo cubro, te comunico con una persona» no es un asistente peor; es un asistente con alcance declarado.
La segunda es probar contra la realidad antes que el público. Entre el demo interno y el lanzamiento abierto hay una etapa que no se puede saltar: un banco de preguntas reales, incluidas las absurdas y las malintencionadas, con un criterio explícito de aprobación. Nadie necesitaba un laboratorio para descubrir lo de los huevos de vaca. Bastaban veinte minutos de alguien preguntando cosas raras a propósito, con la instrucción de anotar todo lo que saliera mal. Eso es control de calidad, y es barato comparado con el costo de retirar un producto insignia en setenta y dos horas.
El error, entonces, no fue técnico. Fue de secuencia: se publicó primero y se probó después.
Tres días en línea: el tiempo que tardó el público en encontrar lo que una revisión interna de veinte minutos habría detectado.
Dónde te puede pasar a ti
Ninguna empresa mediana de la región va a lanzar un modelo nacional, pero casi todas están poniendo un chat de cara al cliente, y el mecanismo de falla es idéntico.
- Bot de atención en WhatsApp. Lo entrenaron con el catálogo y las preguntas frecuentes. Un cliente pregunta por la garantía de un producto descontinuado, por una política de devoluciones que nunca se escribió o por un plazo de entrega a un municipio que no está en la tabla. El bot no dice «no sé»: improvisa una respuesta razonable y el cliente la toma como un compromiso de la empresa.
- Cotizaciones automáticas. Si el precio, el descuento por volumen o la condición de crédito salen de la memoria del modelo y no de la tabla viva de la empresa, tarde o temprano cotiza un número que nadie autorizó. Y a diferencia de una cabra con raíz cuadrada, ese error no es gracioso: es vinculante frente al cliente.
- Cobranza y estados de cuenta. Un asistente que confirma saldos, fechas de vencimiento o pagos aplicados sin consultar el sistema contable es una fuente de disputas. El cliente guarda la captura.
- Contenido y reclutamiento. Publicaciones con datos inventados sobre tu propia industria, o respuestas a postulantes sobre salarios, prestaciones y etapas del proceso que nadie definió internamente.
La pregunta incómoda para hoy: ¿qué le va a preguntar mañana un cliente a tu bot que nadie escribió en su guion, y qué exactamente contesta cuando eso pase?
Cómo se evita
1. Declarar capacidades por lista blanca. Escribí qué temas atiende el asistente y qué hace con todo lo demás. Lo que no está en la lista no se responde: se deriva. La salida por defecto ante lo desconocido debe ser una frase honesta y un traspaso a una persona, no un intento de respuesta.
2. Banco de preguntas antes de publicar. Cien preguntas reales, sacadas de conversaciones históricas con clientes, más veinte diseñadas para romperlo: absurdas, ambiguas, capciosas, con datos falsos incrustados. Definí de antemano el porcentaje de aciertos que habilita el lanzamiento. Si no se alcanza, no se lanza. Es un mecanismo, no una intención.
3. Los datos duros salen de tablas, nunca de la memoria del modelo. Precios, plazos, inventario, saldos y condiciones se consultan en el sistema de la empresa en el momento de responder. Si la consulta falla, el bot lo dice y escala. Un modelo puede redactar; no debe recordar cifras.
4. Lanzamiento por anillos. Primero el equipo interno durante una semana. Después un grupo acotado de clientes conocidos. Recién entonces, el público. Cada anillo tiene un criterio de avance escrito, y cada anillo encuentra errores que el anterior no podía encontrar.
5. Registro completo y botón de apagado. Toda conversación queda guardada y revisable. Alguien lee las conversaciones del día durante la primera semana, sin excepción. Y existe una forma de apagar el bot en un clic, probada antes del lanzamiento, no improvisada durante la crisis.
Cómo lo hacemos en Catalizadora
En Cortex, las capacidades del bot se declaran de forma explícita: lo que no está declarado, no existe, y la conversación escala a una persona en lugar de improvisar. Los precios y las condiciones comerciales se leen de las tablas del cliente —nunca de la memoria del modelo—, con un candado de precio que impide entregar una cifra que no venga del sistema.
En Atlas queda el registro completo e inalterable de cada conversación, que es lo que permite auditar hacia atrás cuando un cliente reclama por algo que el bot supuestamente dijo.
Y el método MAGIA entrega fase por fase, con evidencia verificable en cada corte, precisamente para que no exista una versión de «lo lanzamos porque nos entusiasmamos».
La regla, en una línea: si el sistema puede afirmar algo que la empresa no autorizó, todavía no está listo para hablar con un cliente.
Este es uno de los casos documentados en nuestra hemeroteca de fallas de IA. Todos con su fuente enlazada, y todos con la misma conclusión: el problema casi nunca es el modelo.