En octubre de 2023, la Ciudad de Nueva York lanzó el MyCity Chatbot: un asistente en el sitio oficial del gobierno para que los dueños de negocios entendieran las reglas que los afectan. Trámites, licencias, obligaciones laborales.
En marzo de 2024, una investigación de The Markup encontró que el chatbot estaba dando consejos que, de seguirse, harían que un negocio violara la ley.
La advertencia legal protege a la institución. No protege al negocio que siguió el consejo.
Qué pasó
Entre las respuestas documentadas:
- Que un empleador puede quedarse con parte de las propinas de sus empleados. En Nueva York, no puede.
- Que un casero puede rechazar a un inquilino que paga con subsidio de vivienda. Es discriminación y está prohibido.
- Que un negocio puede pagar menos del salario mínimo a trabajadores que reciben propinas, sin las condiciones que la ley exige.
- Que se puede operar sin efectivo, cuando la ciudad prohíbe a los comercios rechazar pagos en efectivo.
La ciudad no retiró el chatbot. Agregó advertencias más visibles de que las respuestas podían ser inexactas y no constituían asesoría legal, y siguió ajustándolo.
Los números
- casi $600.000 — lo que costó construir el chatbot MyCity de la alcaldía de Nueva York
- ~$500.000 al año — lo que costaba operarlo, según el alcalde Mamdani: «funcionalmente inservible»
- 2+ años en línea — de otoño de 2023 al 4 de febrero de 2026, pese a los consejos ilegales publicados
- «Sí, puedes quedarte con parte de las propinas» — el consejo del bot oficial; robar propinas es ilegal en Nueva York
Verificado contra themarkup.org.
Por qué pasó
El mecanismo es el mismo de siempre: un modelo generalista respondiendo sobre un dominio donde la respuesta correcta no es la más plausible, sino la que está escrita en una norma específica.
Las leyes laborales y de vivienda están llenas de excepciones, umbrales y condiciones. Un modelo entrenado con texto general produce la respuesta que suena razonable —y "el dueño del negocio puede administrar las propinas" suena razonable— cuando la respuesta correcta es lo contrario y está en un artículo concreto.
Pero este caso tiene un agravante que lo hace peor que un bot comercial equivocado: la autoridad institucional. Cuando un consejo aparece en el sitio oficial del gobierno de la ciudad, el emprendedor tiene todas las razones para creerlo. No va a ir a verificar la ley: para eso preguntó.
Y el costo no lo paga la ciudad. Lo paga el dueño del negocio que siguió el consejo y enfrenta una demanda laboral.
Las cifras del caso, en una imagen.
Dónde te puede pasar a ti
Esta es la falla más peligrosa de todas para una empresa mediana, porque el daño no se ve rápido:
- El bot responde sobre condiciones de garantía y se inventa un plazo. El cliente lo reclama con la captura.
- El bot explica plazos de devolución, políticas de cancelación o cobertura, y aproxima. Cada aproximación es un compromiso legal.
- El bot de recursos humanos responde sobre licencias, vacaciones o liquidaciones con lo que suena razonable, no con lo que dice el contrato colectivo.
- El bot cotiza y su cifra se convierte en la expectativa del cliente.
En los cuatro casos el patrón es el mismo: el sistema opina sobre algo que está escrito en un documento, sin leer el documento.
Y hay algo que este caso enseña de forma contundente: la advertencia legal no te protege del daño real. "Las respuestas pueden ser inexactas" no le devuelve el dinero al negocio que enfrentó una demanda. El descargo protege a la institución; no protege al usuario, que es quien confía.
Cómo se evita
1. Los temas normativos se responden con cita, o no se responden. Si el bot no puede señalar de qué documento viene la respuesta, no debería darla.
2. Lista explícita de temas prohibidos. Legal, fiscal, laboral, médico. La respuesta correcta es derivar a una persona con criterio, y está bien que sea así.
3. La respuesta "no lo sé" tiene que ser una respuesta posible. Un sistema que siempre contesta algo es un sistema que a veces inventa. Que pueda decir que no sabe es una decisión de diseño, no una carencia.
4. Sesgo hacia el conservadurismo en lo regulado. Ante duda, derivar. El costo de una derivación innecesaria es minúsculo; el de un consejo ilegal, no.
5. La advertencia no reemplaza el candado. Pon el descargo, pero no confundas el descargo con la solución.
Cómo lo hacemos en Catalizadora
Cortex responde contra los datos del cliente —su catálogo, sus precios, sus políticas, tal como están escritas— y no contra el conocimiento general del modelo. Si el dato no existe en esos datos, el bot no lo aproxima: lo dice y escala.
Los temas sensibles se declaran fuera de alcance en la configuración del tenant. Un bot de una clínica no opina sobre diagnósticos; uno de un despacho no interpreta la ley; uno de retail no improvisa condiciones de garantía. Eso no se resuelve con una instrucción en el prompt —que se puede desviar— sino cerrando la capacidad: si no está declarada, no existe.
Y el candado que más rinde es el más simple: los precios y condiciones salen de tablas, no de la memoria del modelo. Un bot que no puede generar una cifra no puede prometer una cifra equivocada.
Este es uno de los casos documentados en nuestra hemeroteca de fallas de IA. Todos con su fuente enlazada, y todos con la misma conclusión: el problema casi nunca es el modelo.