Cuando la IA falla, casi nunca es culpa del modelo

Qué vas a encontrar

Casos reales, con nombre y apellido, ordenados por tipo de falla: legal, atención al cliente, medios, despidos revertidos, fraude con deepfakes, algoritmos de gobierno y modelos en sectores regulados. Cada uno enlaza la nota del medio que lo publicó.

Por qué lo documentamos

Casi ninguna de estas empresas tenía un problema técnico: faltó alguien verificando antes de publicar, un límite sobre lo que el bot podía prometer, un permiso que el agente no debió tener, o una medición antes de tocar a la gente. Cada caso de acá es un candado que hoy va de fábrica en lo que entregamos.

Los 60 casos documentados

legal

• Pieces prometió menos de un error grave por cada 100.000 y Texas cerró el caso sin un dólar de multa — El fiscal general de Texas cerró su primer acuerdo con una IA clínica que publicitaba una tasa de alucinación grave menor a 1 por cada 100.000, hallad
• Clonaron la voz de un compañero por teléfono y comprometieron 27 cuentas de clientes de Retool — Bastó una llamada con la voz sintética de un colega para conseguir un código de doble factor y llegar a 27 cuentas de clientes del sector cripto.
• Más de 100 vacantes, todas rechazadas: la demanda contra el filtro de Workday — Una demanda colectiva alega que el filtro automático de candidatos de Workday descartaba aspirantes por edad, raza y discapacidad, a escala de platafo
• La FTC actuó contra IntelliVision: decía millones de rostros y usó 100.000 personas — IntelliVision afirmaba haber entrenado su reconocimiento facial con millones de rostros y sin sesgo. La FTC actuó: el conjunto real eran unas 100.000
• La FTC midió el detector de IA de Workado: 53% de precisión, no el 98% que vendía — La FTC comprobó que el detector de contenido generado con IA que Workado vendía como 98% preciso acertaba el 53% sobre contenido general.
• OpenAI sacó 25,2% donde nadie pasaba de 2%: también financió el examen y era dueño de las preguntas — OpenAI financió FrontierMath y tenía visibilidad de muchos de sus problemas y soluciones; la única garantía de que no entrenaría con el examen era ver
• Georgia anuló un divorcio: 11 de 15 citas del recurso eran falsas y la sentencia las repetía — La Corte de Apelaciones de Georgia anuló una sentencia de divorcio que citaba casos inexistentes: el recurso que la defendía traía 11 citas falsas de
• Sanción de $31,100 a dos bufetes por un escrito de 10 páginas con citas inventadas — Un escrito de diez páginas con citas de jurisprudencia generadas por IA casi entra en una orden judicial. La sanción a los dos bufetes fue de $31,100.
• La FTC le prohibió a Rite Aid el reconocimiento facial por cinco años — El sistema de Rite Aid señalaba como ladrones a clientes que no lo eran, y esas alertas llegaban al piso de la tienda sin ninguna verificación humana
• La SEC multó con $400.000 a dos asesoras por presumir una IA que no existía — Dos asesoras de inversión se anunciaron durante años como firmas de inteligencia artificial sin tener la inteligencia artificial que decían tener. En
• Evolv: el escáner "con IA" que dejó pasar un cuchillo de 18 cm — Evolv vendía a estadios y a cientos de escuelas en Estados Unidos un escáner "con IA" que prometía detectar todas las armas, a hasta cinco veces el pr
• DoNotPay: la FTC multó al «primer abogado robot del mundo» con 193.000 dólares — DoNotPay se vendió durante años como «el primer abogado robot del mundo», pero nunca contrató abogados para verificar los documentos que producía. La

gobierno

• El puntaje de riesgo de la CNAF alcanza a hogares de 32 millones de personas — El algoritmo de riesgo de la seguridad social de Francia clasifica hogares donde viven 32 millones de personas y penaliza a discapacitados y madres so
• Ámsterdam invirtió 500.000 euros en un algoritmo diseñado para ser justo y tuvo que apagarlo — El Ayuntamiento de Ámsterdam invirtió unos 500.000 euros en un algoritmo de asistencia social diseñado para ser justo y terminó teniendo que apagarlo.
• El algoritmo del DWP marcó a 200.000 personas y dos de cada tres eran legítimas — El sistema antifraude del organismo británico de prestaciones investigó a 200.000 personas y gastó unos 4,4 millones de libras sin recuperar un centav
• La app de ICE dio dos identidades distintas, y las dos falsas, de la misma mujer detenida — Mobile Fortify, la app de reconocimiento facial de ICE, devolvió dos identidades distintas y erróneas de la misma mujer detenida en Oregón: una probab
• Robodebt: 1.800 millones devueltos por deudas que un cálculo automático inventó — El gobierno federal de Australia automatizó el cobro de pagos sociales sin verificación humana y terminó en un acuerdo de 1.800 millones de dólares.
• 26.000 familias acusadas de fraude por un sistema automatizado: renunció el gabinete — Un sistema de detección de fraude del fisco de Países Bajos acusó a 26.000 familias de defraudar el subsidio de guardería. El gabinete completo renunc
• Lucie: el chatbot con respaldo del Estado francés que duró 3 días en línea — Francia lanzó a Lucie, un chatbot con respaldo del Estado presentado como respuesta europea a ChatGPT, y tuvo que retirarlo 3 días después. Recomendó
• Nueva York pagó casi $600.000 por un chatbot que le explicaba a los negocios cómo saltarse la ley — MyCity se lanzó para ayudar a emprendedores a navegar las reglas de la ciudad. Con la voz del gobierno, aconsejó violar la ley: quedarse con parte de

atencion

• Dave's Hot Chicken retiró su IA de voz del autoservicio aunque sí completaba los pedidos — La IA de voz de Dave's Hot Chicken tomaba los pedidos con éxito en el autoservicio. La cadena la retiró igual: a los clientes no les gustó hablar con
• Pizza Hut: un franquiciatario de 111 locales reclama $100 millones por el sistema de IA — Chaac Pizza Northeast, operador de 111 restaurantes Pizza Hut, demandó a la cadena y atribuye 100 millones de dólares en ventas y valor perdidos al si
• McHire: los datos de 64 millones de aspirantes detrás de la contraseña 123456 — El chatbot de contratación de McDonald's dejaba expuestos los datos personales de 64 millones de aspirantes a un empleo detrás de una contraseña de se
• El bot de TurboTax falló más de la mitad de las preguntas fiscales — En plena temporada fiscal de 2024, los dos gigantes de los impuestos en Estados Unidos pusieron asistentes de IA frente al contribuyente. El Washingto
• El bot de recetas de Pak'nSave que sugirió una «mezcla» de gas de cloro — El bot de recetas de Pak'nSave propuso una «mezcla de agua aromática» que produce gas de cloro, descrita como perfecta para saciar la sed. La empresa
• Virgin Money: el chatbot que regañó a un cliente por escribir «virgin» — Un cliente de Virgin Money preguntó cómo combinar sus dos cuentas y el chatbot del banco lo reprendió por su lenguaje. La palabra prohibida era «virgi
• El bot de soporte de Cursor inventó una política que no existía y los clientes cancelaron — Un bot de soporte firmado como «Sam» le explicó a los clientes de Cursor que perder la sesión al cambiar de computadora era «el comportamiento esperad
• El chatbot de DPD llamó a su empresa «la peor del mundo»: 800.000 personas lo vieron en un día — Un cliente no lograba que el bot de la paquetería le diera información de su envío. En unos pocos mensajes consiguió que insultara, escribiera un poem
• Un chatbot vendió una camioneta de $58.195 por un dólar y dijo que era legalmente vinculante — El bot de ventas de un concesionario Chevrolet aceptó una oferta de un dólar por una Tahoe 2024 y la selló con la frase «es una oferta legalmente vinc
• Las tiendas sin cajero de Amazon tenían mil personas revisando video en India — Just Walk Out se vendió como la tienda que funciona sola. En 2022, unas 700 de cada 1.000 compras necesitaban que un humano revisara el video. En 2024

colapsos

• Starbucks apagó a los 9 meses su conteo de inventario con visión por computadora — Starbucks anunció un sistema de conteo de inventario con visión por computadora y lo desconectó nueve meses después. El fallo no estuvo en la tecnolog
• Olive AI: el unicornio de $4.000 millones que cerró y vendió los restos en dos años — Olive AI valía $4.000 millones y prometía liberar de burocracia a los hospitales de Estados Unidos. Dos años después despidió a 650 personas, cerró op
• Los Ángeles pagó $6 millones por un chatbot que murió a los tres meses — El distrito escolar de Los Ángeles lanzó "Ed" en marzo de 2024 y en junio la empresa que lo construyó ya no existía. Seis millones de dólares, un chat
• Babylon Health: de $4.000 millones a una capitalización de $5.000 — Babylon Health salió a bolsa en 2021 valuada en más de $4.000 millones con un chatbot de diagnóstico que operaba dentro del NHS británico. En agosto d
• GM apagó Cruise tras invertir más de $10.000 millones: el problema no fue el accidente, fue lo que hicieron después — Un robotaxi de Cruise arrastró a una peatona por seis metros. La empresa mostró a los reguladores un video que no incluía esa parte. Perdió la licenci
• Nate levantó $50 millones con una «IA» que, según el DOJ, automatizaba efectivamente el 0% — Nate levantó más de $40 millones prometiendo una IA capaz de completar cualquier compra en línea con un clic. Según la acusación del Departamento de J
• El AI Pin de Humane murió a los 10 meses: HP compró los restos por $116M y apagó todos los aparatos — Humane levantó $230 millones para reemplazar al teléfono con un aparato de IA que se prendía en la ropa. HP compró los activos por $116M y el 28 de fe

salud

• El modelo de sepsis de Epic no detectó a 1.709 de 2.552 pacientes en Michigan Medicine — La validación externa en Michigan Medicine mostró que el modelo de sepsis de Epic no detectó a 1.709 de 2.552 pacientes y alertó sobre el 18% de los i
• «Escribe un poema sobre negar un reclamo»: el chatbot de la aseguradora que ganó $22.000 millones — El asistente que respondía dudas de los empleados sobre reclamos médicos quedó accesible desde internet, sin clave y con cientos de conversaciones gua
• Nabla transcribió 7 millones de consultas médicas con un modelo que alucina y borra el audio — La herramienta de transcripción clínica de Nabla ya había procesado unos 7 millones de consultas con un modelo que alucina, y borra el audio original.
• Forward prometió 3.200 consultorios con IA, abrió cinco y cerró con 650 millones levantados — Levantó más de 650 millones de dólares y anunció 3.200 consultorios autónomos para su primer año. Abrió cinco antes de cerrar operaciones.
• NEDA cambió a sus seis operadores por un chatbot 4 días después de que se sindicalizaran — NEDA cerró su línea de ayuda atendida por personas y promovió un chatbot en su lugar. Duró días: Tessa recomendó un déficit de 500 a 1.000 calorías di

gigantes

• Uber Eats: dos años y medio de litigio porque su reconocimiento facial no lo reconocía — El sistema de verificación por selfie no lograba confirmar la identidad de un repartidor y se quedó sin cuenta. Revertirlo tomó dos años y medio.
• Meta AI entregó el número privado de un desconocido como «atención al cliente» (y cambió tres veces de versión) — Un pasajero le pidió a Meta AI el teléfono de atención al cliente de una ferroviaria británica y recibió el WhatsApp personal de un desconocido que vi
• «Inútil a los 42»: el titular con que la IA de MSN publicó el obituario de un exjugador de la NBA — Microsoft había reemplazado a decenas de editores de MSN con sistemas automáticos. Tres años después, el portal distribuyó una nota sobre la muerte de
• «Puedo chantajearte, puedo arruinarte»: la amenaza del Bing en el que Microsoft puso $10.000 millones — Microsoft lanzó su Bing con IA para destronar a Google. En días, el bot le dijo a un profesor de filosofía que podía chantajearlo y arruinarlo, y a un

fraude

• Arup transfirió 25 millones de dólares en 15 pagos tras una videollamada con deepfakes — Un empleado de finanzas ejecutó 15 transferencias por 25 millones de dólares después de una videollamada en la que el CFO y sus colegas eran deepfakes
• Joonko: $21 millones levantados con clientes Fortune 500 que no existían — Joonko levantó $21 millones presumiendo más de 100 clientes, incluidas empresas del Fortune 500, que según la SEC no existían. Sus ingresos reales nun
• Presto Automation: la SEC sancionó la "IA" de drive-thru que un humano tecleaba en 7 de cada 10 pedidos — Presto Automation cotizaba en Nasdaq vendiendo un drive-thru que tomaba pedidos con IA de voz y comunicaba 95% de automatización. En enero de 2025 la

medios

• Cosmos publicó 6 artículos con IA pagados por una beca de periodismo — La revista científica más conocida de Australia usó una beca destinada al periodismo para construir un generador de artículos con IA. Publicó 6 textos
• 18 errores médicos en un solo artículo: el estreno de la IA en Men's Journal — Men's Journal, del mismo grupo editorial que Sports Illustrated, estrenó su primer artículo de salud generado con IA: consejos sobre testosterona. Un
• Gizmodo Bot: 10 minutos de aviso para un artículo de IA lleno de errores — Gizmodo, referencia global del periodismo tecnológico, publicó en io9 el primer artículo firmado por «Gizmodo Bot» y su redacción se enteró 10 minutos
• «Un encuentro cercano de tipo atlético»: cómo Gannett tuvo que pausar sus crónicas deportivas escritas por IA — El mayor grupo de diarios de Estados Unidos dejó que una IA escribiera las crónicas del deporte escolar, y un partido reñido terminó publicado como «u
• La encuesta que la IA de Microsoft insertó junto a la noticia de la muerte de una joven de 21 años — The Guardian cubrió la muerte de una joven de 21 años en Sídney y Microsoft replicó la nota en su portal con un agregado automático: una encuesta que
• La IA del Los Angeles Times duró 24 horas: publicó un matiz comprensivo sobre el Ku Klux Klan — «Insights» se lanzó para agregar contrapuntos automáticos a las columnas de opinión. Al día siguiente, en una nota sobre el Klan, el sistema aportó qu
• Business Insider retiró 40 ensayos firmados por autores que aparentemente no existen — Los textos tenían firma, foto y una historia personal creíble. Una investigación encontró que varios de esos colaboradores no aparecían en ningún regi
• CNET tuvo que corregir 41 de los 77 artículos que escribió su IA — y no se lo había dicho a nadie — Uno de los sitios de tecnología más leídos del mundo puso una IA a escribir artículos financieros con la etiqueta escondida. Más de la mitad tenía err
• Una revista alemana pagó €200.000 por publicar una entrevista con Schumacher que inventó una IA — Die Aktuelle anunció en portada «la primera entrevista» con Michael Schumacher desde su accidente de 2013. Las respuestas las había generado un chatbo
• Los autores de Sports Illustrated no existían: cayeron el CEO y tres ejecutivos más — «Drew Ortiz» tenía biografía, foto y artículos publicados en una de las revistas más icónicas de Estados Unidos. No era una persona: su cara se había
• Apple, la BBC y el titular que nunca existió: qué pasa cuando la IA resume noticias sin verificar — Apple Intelligence notificó, con el logo de la BBC, que un acusado se había disparado a sí mismo. Nunca ocurrió. El caso muestra el riesgo de poner un

¿Quieres que evaluemos tu operación?

Déjanos tu correo y te escribimos en menos de 24 horas con un diagnóstico inicial sin costo. Sin pitch, sin agenda comercial.

O agenda 30 minutos directamente.