Qué pasó
Pieces Technologies vende inteligencia artificial generativa a hospitales. Para respaldar su producto publicitaba una cifra concreta: una tasa de alucinación grave "menor a 1 por cada 100.000".
El fiscal general de Texas, Ken Paxton, investigó esa afirmación y cerró con la empresa el primer acuerdo de su tipo con una compañía de inteligencia artificial generativa en salud. La conclusión de la investigación fue que la métrica publicitada era probablemente inexacta y podía inducir a error a los hospitales que la usaban para decidir.
Lo que quedó bajo escrutinio no fue el modelo. Fue el número con el que se vendía.
Por qué pasó
"Menos de 1 por cada 100.000" suena a medición porque tiene la forma de una medición. Pero un número así solo significa algo si se responden cuatro preguntas, y ninguna estaba a la vista.
La primera: qué cuenta como alucinación grave. Si nadie publica la definición, cada quien clasifica distinto, y una definición estrecha reduce el numerador sin que cambie el comportamiento del sistema.
La segunda: 1 por cada 100.000 de qué. ¿Documentos? ¿Resúmenes? ¿Campos generados? ¿Palabras? El denominador mueve el resultado en órdenes de magnitud, y el mismo desempeño puede presentarse como excelente o como inaceptable según lo que se ponga abajo de la fracción.
La tercera: quién revisó. Una tasa de error necesita que alguien haya leído las salidas y las haya etiquetado. Si el que etiqueta es el mismo que vende, o el propio sistema evaluándose, no es una medición independiente.
La cuarta: sobre qué muestra. Un conjunto de casos elegido por el proveedor no dice nada sobre el desempeño en los datos del hospital que compra, que tienen otra escritura, otras abreviaturas y otros pacientes.
Ese es el fallo de proceso, y sucede antes de que el software toque un solo expediente: la organización que compra aceptó una métrica sin método. En un dominio de alto riesgo, cómo se mide importa tanto como el resultado, porque sin método el número no es evidencia, es publicidad.
Dónde te puede pasar a ti
No hace falta comprar software clínico. La misma cifra sin método circula en muchos lados:
- "Nuestro bot resuelve el 92% de las consultas", sin definir qué cuenta como resuelta ni quién lo determinó.
- "Precisión del 95%", sin decir sobre qué conjunto de datos ni cuánto pesa cada tipo de error.
- "Reducimos los tiempos a la mitad", medido contra un punto de partida que nadie registró antes de empezar.
- Un tablero propio con una métrica de calidad calculada por el mismo sistema que la métrica evalúa.
La pregunta que separa el dato del argumento de venta es siempre la misma: ¿puedo reproducir este número con mis datos?
Cómo se evita
- Exigir la definición del error por escrito. Qué se cuenta como falla, con ejemplos de lo que entra y de lo que queda fuera. Sin definición no hay tasa.
- Exigir el denominador. Por cada qué. Es la parte de la fracción que más se omite y la que más cambia el resultado.
- Preguntar quién etiquetó y con qué independencia. Una evaluación hecha por el vendedor sobre su propio producto no es una medición: es una afirmación.
- Medir con datos propios antes de firmar. Un piloto sobre una muestra de la operación real, con revisión humana de las salidas. Es el único número que aplica a tu caso.
- Poner la métrica en el contrato. Definición, método, muestra y qué ocurre si no se cumple. Una cifra que solo vive en la presentación comercial no obliga a nadie.
Cómo lo hacemos en Catalizadora
Cuando entregamos un número de precisión, entregamos con él la definición del error, el tamaño y el origen de la muestra, y la forma de volver a calcularlo. Las evaluaciones corren sobre datos del cliente, no sobre un conjunto elegido por nosotros, y quedan guardadas para poder repetirlas cuando el sistema cambie. Si una métrica no se puede reproducir, no la publicamos.