Qué pasó
Nabla construyó una herramienta de transcripción clínica: el médico conversa con el paciente, el sistema escucha y devuelve la nota de la consulta escrita. Es una de las aplicaciones más razonables de la inteligencia artificial en salud, porque ataca un problema real y medible: el tiempo que un profesional pasa redactando notas en lugar de atendiendo.
La herramienta está construida sobre Whisper, el modelo de transcripción de OpenAI. Y Whisper tiene un comportamiento documentado: en ciertos tramos de audio no transcribe lo que escuchó, sino que inventa texto que suena plausible. Alucina. No es una teoría; estaba reportado antes de que ocurriera lo que sigue.
Según la investigación publicada por Associated Press, la herramienta de Nabla ya había transcrito alrededor de 7 millones de consultas médicas pese a esas alucinaciones documentadas. Y hay un segundo dato que convierte el problema en algo distinto: el sistema borra el audio original.
Por qué pasó
Un modelo de transcripción que ocasionalmente inventa texto es un problema manejable. Molesto, pero manejable: se compara la transcripción con el audio, se corrige el tramo, se sigue. El error es visible y reversible porque existe una fuente contra la cual contrastarlo.
Borrar el audio elimina esa posibilidad. A partir de ese momento, la transcripción deja de ser una versión de la consulta y pasa a ser la consulta: no hay original, no hay contra qué comparar, no hay manera de saber si una frase del expediente la dijo el paciente o la produjo el modelo. La decisión de borrar probablemente se tomó por razones sensatas —privacidad, costo de almacenamiento, políticas de retención—, pero se tomó sin conectarla con la otra mitad del sistema: un modelo que puede equivocarse necesita una fuente que permita detectarlo.
Ese es el fallo de proceso. No está en el modelo, que hace lo que su documentación describe. Está en un diseño donde dos decisiones correctas por separado —usar transcripción automática y no retener grabaciones sensibles— se vuelven incompatibles al juntarse, y nadie evaluó la combinación.
La escala hace el resto. Con 7 millones de consultas, ni siquiera se puede estimar el tamaño del problema hacia atrás. Una auditoría por muestreo necesita muestras; aquí la evidencia se destruyó en el mismo paso que la generó.
Dónde te puede pasar a ti
No hace falta trabajar en salud para reproducir el patrón. Ocurre cada vez que un sistema automático produce un resultado y elimina el insumo que lo originó:
- Un bot que resume conversaciones de clientes y conserva solo el resumen.
- Una herramienta que extrae datos de facturas y no guarda el archivo original una vez procesado.
- Un asistente que redacta minutas de reuniones sobre una grabación que se descarta al terminar.
- Un flujo que clasifica correos entrantes y archiva solo la categoría asignada.
En todos, el día que alguien pregunte "¿de dónde salió este dato?", la respuesta será una salida del modelo citándose a sí misma.
Cómo se evita
La regla es sencilla de enunciar y barata de aplicar:
- La fuente sobrevive a la salida. Si un sistema automático produce un resultado que alguien va a usar para decidir, el insumo original se conserva al menos el tiempo necesario para poder auditarlo.
- La retención se decide junto con el modelo, no aparte. La política de borrado y la elección del modelo son la misma conversación. Separarlas es lo que produce este resultado.
- Muestreo humano con la fuente al lado. Un porcentaje de las salidas se revisa contra el original, de forma periódica y registrada. Sin fuente, esa revisión es imposible.
- Trazabilidad de cada dato. Cada campo generado por un modelo queda marcado como tal, distinguible de un dato capturado por una persona.
Nada de esto obliga a conservar información sensible para siempre. Obliga a que el plazo de retención se fije mirando cuánto tiempo puede tardar en aparecer un error, no solo cuánto cuesta el almacenamiento.
Cómo lo hacemos en Catalizadora
En los sistemas que construimos, toda salida de un modelo queda guardada junto a su entrada y con la marca de que la produjo un modelo, no una persona. El borrado se programa por plazo explícito, nunca como paso inmediato del mismo flujo que generó el resultado. Cuando un dato generado alimenta una decisión, el sistema conserva el rastro que permite reconstruirla. Si no se puede auditar hacia atrás, no se publica hacia adelante.