La cronología
Día 0. DoNotPay llevaba años con un eslogan difícil de ignorar: «el primer abogado robot del mundo». La propuesta era enorme y perfectamente clara: por una suscripción, cualquier persona podía generar documentos legales en segundos y pelear un trámite sin pagarle a un abogado. El producto se apoyaba en modelos de lenguaje, y el mensaje comercial iba un paso más allá que el producto. No prometía ayuda legal. Prometía sustitución.
Día 1. En septiembre de 2024, la Comisión Federal de Comercio de Estados Unidos (FTC) anunció la «Operación AI Comply», una tanda de acciones contra empresas que vendían capacidades de inteligencia artificial sin sustento. DoNotPay quedó en la lista. Lo que la FTC señaló no fue un modelo que alucinó ni un documento puntual que arruinó un caso: fue que la empresa nunca contrató abogados para verificar la calidad de los documentos legales que su servicio producía. La promesa de igualar a un profesional jamás se midió contra un profesional.
Días después. El acuerdo cerró con tres piezas: 193.000 dólares de multa, la obligación de avisarles a los suscriptores que pagaron entre 2021 y 2023 sobre las limitaciones reales del servicio, y la prohibición de volver a afirmar que un producto sustituye a un profesional sin tener evidencia que lo respalde. La sanción no cayó sobre la tecnología. Cayó sobre la frase.
Una promesa pública sobre lo que hace tu IA es una deuda de verificación, y tarde o temprano alguien la cobra.
Qué pasó, en detalle
El caso es incómodo justamente porque no hay un desastre visible. No hubo un cliente que perdiera su casa por un contrato mal redactado, ni una captura de pantalla viral con una respuesta absurda. Hubo algo más silencioso y más caro: un producto que se vendió durante años como equivalente a un abogado sin que nadie, en ningún momento, se sentara a comparar su salida con la de un abogado.
Esa es la esencia de lo que documentó la FTC al incluir a DoNotPay dentro de la Operación AI Comply, el paquete de acciones con el que la agencia empezó a tratar los anuncios sobre inteligencia artificial igual que trata cualquier otra afirmación publicitaria: si dices que tu producto hace algo, tienes que poder probarlo. La multa fue de 193.000 dólares —una cifra modesta para el estándar de la agencia— pero el resto del acuerdo pesa más que el dinero. Notificar a los suscriptores de 2021 a 2023 significa admitir, por escrito y de forma proactiva, ante quienes ya pagaron, que el servicio no era lo que decía la portada. Y la prohibición hacia adelante convierte cada futura frase de marketing en una obligación probatoria.
Vale la pena leer el comunicado de la FTC completo, porque el hilo conductor de todos los casos de esa operación es el mismo, y no tiene nada que ver con la calidad de los modelos: es la distancia entre lo que la empresa afirmó en público y lo que verificó en privado.
Por qué pasó
Un modelo de lenguaje genera texto plausible. Ese es el trabajo que hace, y lo hace notablemente bien. Un escrito legal generado por IA se ve como un escrito legal: tiene la estructura correcta, el registro correcto, las secciones que uno espera encontrar. El problema es que la plausibilidad y la corrección son dos propiedades distintas, y desde afuera se ven idénticas. Un documento con la cláusula equivocada, la jurisdicción equivocada o el plazo vencido se lee exactamente igual de bien que uno correcto. Nadie que no sea del oficio puede notar la diferencia.
Ahí está el fallo de proceso, y no es técnico: entre «el sistema produce documentos» y «el sistema sustituye a un abogado» hay un paso obligatorio que consiste en que un abogado revise una muestra representativa de esos documentos y diga si sirven. Ese paso cuesta poco y se puede hacer en una semana. Simplemente no se hizo, y la frase salió a la calle igual.
Es un patrón que se repite en casi todas las implementaciones de IA que terminan mal. El equipo prueba el sistema con veinte casos fáciles, ve que responde bien, y esa impresión —«funciona»— se convierte en el material del que sale el copy de la página de inicio. Nadie definió qué significa «funciona» en términos medibles, nadie fijó quién es la autoridad que lo juzga, y nadie dejó registro de la prueba. Cuando meses después alguien pregunta con qué evidencia se sostiene la promesa, no hay archivo que abrir. No porque se haya escondido: porque nunca existió.
193.000 dólares de multa, suscriptores de 2021 a 2023 notificados y cero abogados contratados para verificar el producto.
Dónde te puede pasar a ti
No hace falta vender software legal para estar en esta situación. La misma estructura aparece en la operación diaria de cualquier empresa mediana de la región:
- El bot de atención en WhatsApp. La página dice «resuelve cualquier consulta las 24 horas». Nadie definió cuáles son las consultas que sí resuelve y cuáles debería derivar, así que el bot contesta todo, incluso lo que no sabe, con el mismo tono seguro.
- El cotizador automático. Promete «tu precio en un minuto». Si el modelo arma el precio con lo que recuerda del catálogo en vez de leerlo de la tabla vigente, la cotización va a salir siempre: correcta o no.
- La cobranza y los recordatorios. Un mensaje automático que afirma un saldo, un plazo o un recargo es una declaración de la empresa frente a un cliente, con las mismas consecuencias que si la firmara una persona.
- El contenido y las propuestas comerciales. Un dato inventado dentro de un artículo o de una propuesta con tu logo no es un error del modelo: pasó a ser una afirmación tuya en el momento en que lo publicaste.
La pregunta incómoda es sencilla, y conviene hacérsela hoy: de todo lo que tu empresa afirma en público sobre lo que hace su IA —en la web, en la propuesta comercial, en el mensaje de bienvenida del bot—, ¿cuántas de esas frases tienen una prueba documentada detrás, con fecha y con un responsable que la firmó?
Cómo se evita
1. Inventario de promesas. Junta en una sola hoja cada frase pública sobre tu producto de IA: sitio, anuncios, propuestas, mensaje de bienvenida del bot, guion de ventas. Al lado de cada una, dos columnas: qué evidencia la respalda y quién la firma. Las filas vacías son tu lista de trabajo.
2. Un banco de casos con respuesta correcta. Arma entre treinta y cincuenta casos reales de tu operación —consultas de clientes, cotizaciones, documentos— y deja escrita cuál es la respuesta correcta para cada uno, definida por la persona que hoy hace ese trabajo bien. Ese banco es tu examen, y se corre completo antes de cada cambio del sistema.
3. Un juez del oficio, no del equipo. Quien califica la salida tiene que ser alguien calificado en el dominio y ajeno a quien construyó la solución: el contador para lo fiscal, el abogado para lo legal, el jefe de taller para lo técnico. Una muestra semanal, calificada y archivada, cuesta un par de horas y es exactamente el paso que faltó en este caso.
4. Capacidades declaradas y límites visibles. Escribí qué puede y qué no puede hacer el sistema, y que esa declaración viva dentro del producto, no solo en un documento interno. Lo que no está declarado, el sistema no lo intenta: deriva a una persona.
5. Registro de todo lo que el sistema dijo. Cada respuesta, cotización o documento generado queda guardado con fecha, versión y destinatario. Si mañana alguien —un cliente, un socio, un regulador— pregunta con qué base afirmaste algo, la respuesta debería ser abrir un registro, no reconstruir la memoria de tres personas.
Cómo lo hacemos en Catalizadora
En Cortex, nuestro motor de bots, las capacidades se declaran de forma explícita: lo que no está declarado no existe, y ante una consulta fuera de ese perímetro el sistema escala a una persona en lugar de improvisar una respuesta con tono de autoridad. Los precios y condiciones tampoco salen de la memoria del modelo, sino de las tablas del cliente. Es el mismo principio del caso: la afirmación tiene que venir de una fuente verificable, no de la fluidez del texto.
Atlas guarda el registro completo e inalterable de cada conversación. Esa es la diferencia entre poder mostrar la evidencia y tener que reconstruirla: si alguien pregunta qué le dijo el sistema a un cliente en marzo, se abre y se lee.
Faro deja a la vista la tasa de intervención humana. Si un bot nunca escala nada, no es que sea infalible: es que nadie definió su límite. Ese número es la señal temprana de que la promesa se está separando del producto.
La regla, en una línea: ninguna frase sale a la calle antes que la prueba que la sostiene.
Este es uno de los casos documentados en nuestra hemeroteca de fallas de IA. Todos con su fuente enlazada, y todos con la misma conclusión: el problema casi nunca es el modelo.