La cronología
Día 0. Corría 2023. NEDA, la asociación de trastornos alimentarios más conocida de Estados Unidos, cerró su línea de ayuda atendida por personas —el canal donde alguien en crisis hablaba con un ser humano entrenado— y promovió en su lugar a Tessa, un chatbot disponible para quien buscara apoyo. El cambio se presentó como una modernización del canal de contacto.
Día 1. Una activista probó el bot y publicó las capturas. A ella, Tessa le recomendó perder de una a dos libras por semana, comer un máximo de 2.000 calorías diarias y sostener un déficit de entre 500 y 1.000 calorías al día. Es, casi palabra por palabra, el enfoque que alimenta el trastorno que la organización existe para combatir, dicho por el canal oficial de esa misma organización a la población más vulnerable a ese consejo.
Horas/días después. NEDA retiró el bot. La organización declaró que nunca aprobó esas recomendaciones: según lo publicado, su proveedor las activó en una actualización del sistema y NEDA se enteró por las capturas que ya circulaban en redes. El reemplazo del canal humano duró días.
Nadie del lado de NEDA sabía lo que su propio bot estaba diciendo, y ese —no el consejo— es el fallo que se puede prevenir.
Qué pasó, en detalle
El detalle más incómodo de este caso es que las respuestas de Tessa no eran, en abstracto, disparatadas. Un déficit calórico moderado y una pérdida de una a dos libras por semana es literalmente lo que devuelve cualquier buscador si uno pregunta cómo bajar de peso de forma "saludable". En una app genérica de bienestar, esas frases habrían pasado desapercibidas. Puestas en la boca del canal oficial de una asociación de trastornos alimentarios, dirigidas a personas que llegan ahí precisamente porque su relación con la comida y el peso está enferma, esas mismas frases son daño.
Ese es el punto: la respuesta no era incorrecta por su contenido, sino por su destinatario. Y el destinatario es información que el modelo no tiene a menos que alguien, del lado de la organización, se la haya cargado en el proceso: qué temas están prohibidos, qué preguntas se derivan a un humano, qué vocabulario no se usa nunca.
El segundo hecho relevante es cómo se enteró NEDA. No fue una alerta interna, ni una revisión de conversaciones, ni una prueba previa al lanzamiento. Fue una captura de pantalla publicada por una persona ajena a la organización. Entre el momento en que el bot empezó a dar ese consejo y el momento en que alguien de NEDA lo supo, el canal de detección fue el público. La reacción, en cambio, fue rápida: el bot salió de circulación en días. Pero para entonces el canal humano ya estaba cerrado y la historia ya estaba en la prensa. La cobertura en NPR recoge tanto las capturas como la posición de la organización.
Por qué pasó
Hay una lectura fácil —"la IA se equivocó"— que no explica nada y no previene nada. Lo que falló acá se puede describir en tres piezas de proceso, ninguna de ellas técnica en el sentido difícil de la palabra.
La primera: nadie definió lo que el bot no podía decir. Un asistente con capacidad generativa abierta responde también las preguntas que nadie anticipó, y para responderlas usa el promedio de lo que existe escrito sobre el tema. El promedio de lo escrito sobre peso corporal es consejo de dieta. El modelo no estaba roto; estaba haciendo exactamente lo que hace un asistente de propósito general cuando le preguntan por peso. Lo que faltaba era la instrucción de que en este dominio la respuesta promedio es justamente la peligrosa.
La segunda: el control de cambios vivía del lado del proveedor. Una actualización del sistema modificó el comportamiento de una herramienta de cara al público sin que nadie de la organización tuviera que aprobarla antes de que llegara a producción. En cualquier otra área de una empresa eso sería impensable: nadie deja que un tercero cambie el texto de un contrato o la lista de precios sin firma. Con un bot, en cambio, se acepta porque el cambio "es del software".
La tercera: no había lectura de lo que el bot respondía. Un registro de conversaciones que nadie revisa es un archivo, no un control. Bastaba con que una persona leyera treinta conversaciones al azar por semana para que este caso se hubiera detectado adentro, en silencio, antes de la primera captura.
500 a 1.000 calorías de déficit diario recomendadas por el canal oficial de una asociación de trastornos alimentarios: el bot duró días.
Dónde te puede pasar a ti
No hace falta atender crisis de salud mental para heredar este patrón. Basta con tener un canal automatizado que le hable a un cliente en nombre de tu empresa.
Bot de atención en WhatsApp. Tu proveedor cambia el modelo, el prompt o la versión de la plataforma un martes cualquiera, y el lunes siguiente tu bot está prometiendo plazos de entrega, garantías o excepciones que nadie de tu empresa autorizó jamás. La conversación sigue viéndose perfecta: buena redacción, tono amable, contenido inventado.
Cotizaciones automáticas. El bot no encuentra el precio de una configuración rara y, en lugar de decir "no sé", estima uno razonable. El cliente lo toma como oferta. Tú te enterás cuando llega el reclamo, no cuando se dio el precio.
Cobranza y mensajes con consecuencia legal. Un recordatorio de pago que cambia de tono, menciona acciones que tu empresa no va a tomar o afirma condiciones contractuales que no existen. En cobranza, la redacción no es estilo: es exposición.
Contenido y filtros de contratación. Un texto publicado en nombre de la marca o un criterio de descarte de candidatos que nadie escribió explícitamente, pero que el sistema aplicó de forma consistente durante semanas.
La pregunta incómoda es simple: ¿quién en tu empresa leyó, esta semana, lo que tu bot le respondió a un cliente real? Si la respuesta es nadie, tu canal de detección es el mismo que tuvo NEDA: que alguien de afuera publique la captura.
Cómo se evita
1. Declara las capacidades y cierra el resto. Escribí la lista explícita de lo que el bot puede hacer —consultar estado de pedido, agendar, cotizar de tabla— y haz que todo lo que no esté en esa lista tenga una sola salida: "eso lo ve una persona". Lo no declarado no existe. Esta semana se hace con una hoja de una página y una regla en el prompt.
2. Definí la lista de temas prohibidos con quien sabe del dominio, no con quien programa. En una clínica la escribe el médico; en una financiera, el de riesgo; en un despacho, el abogado. Cada tema de esa lista se deriva a humano de forma automática, sin intentar una respuesta parcial.
3. Pon el control de cambios de tu lado por contrato. Ningún cambio de modelo, prompt o versión llega a producción sin un ambiente de prueba, un aviso escrito y una aprobación de alguien de tu empresa. Si el proveedor no puede darte eso, ese es el hallazgo del mes.
4. Registra todo y lee una muestra fija cada semana. Treinta conversaciones al azar, cada lunes, media hora, una persona con nombre y apellido. Es el mecanismo más barato que existe y el que más veces detecta el problema antes que el cliente.
5. Prueba el bot con las veinte preguntas que más miedo te dan, antes de lanzar y después de cada actualización. Escríbelas una vez, guárdalas y vuelve a correrlas siempre. Una prueba adversarial que solo se hace en el lanzamiento mide un sistema que ya no existe.
Cómo lo hacemos en Catalizadora
En Cortex, las capacidades del bot se declaran de forma explícita y lo que no está declarado simplemente no existe: ante un tema fuera de lista, el bot no improvisa, escala a una persona por señales definidas de antemano. Los precios y las condiciones no salen de la memoria del modelo, salen de tablas del cliente; el modelo redacta, la tabla decide. Es la misma lógica que le faltó a Tessa: la frase la puede componer el modelo, el criterio lo pone la organización.
En Atlas queda el registro completo e inalterable de cada conversación, que es lo que convierte "revisar el bot" en una tarea de treinta minutos en vez de un proyecto. Y con el método MAGIA, el código, los datos y las credenciales quedan a nombre del cliente: nadie puede activar un comportamiento nuevo en tu canal de atención sin que tú lo veas, porque el sistema no es del proveedor, es tuyo.
Regla: si nadie de tu lado puede aprobar hoy lo que tu bot va a decir mañana, ese bot no es tuyo.
Este es uno de los casos documentados en nuestra hemeroteca de fallas de IA. Todos con su fuente enlazada, y todos con la misma conclusión: el problema casi nunca es el modelo.