Qué pasó
IntelliVision Technologies vende software de reconocimiento facial. Sobre su producto sostenía dos afirmaciones: que se había entrenado con millones de rostros y que su desempeño no presentaba sesgo por género o por raza.
La FTC actuó contra la compañía por declaraciones engañosas sobre esa tecnología. El conjunto con el que se entrenó el sistema correspondía a unas 100.000 personas.
La distancia entre las dos cifras no es un redondeo optimista. Es la diferencia entre lo que un comprador cree que está adquiriendo y lo que efectivamente compró.
Por qué pasó
Hay dos afirmaciones distintas en juego y las dos fallan por el mismo motivo: se dijeron sin medir.
La primera es el tamaño del entrenamiento. Millones de rostros y cien mil personas pueden convivir en la misma frase si se cuentan archivos en lugar de individuos: una misma cara fotografiada mil veces genera mil imágenes y sigue siendo una sola persona. Para un sistema que debe reconocer a gente que nunca vio, lo que importa es la variedad de personas distintas, no el volumen de archivos. Contar imágenes y presentarlas como rostros no es un tecnicismo: cambia por completo lo que el número promete.
La segunda es la afirmación de ausencia de sesgo, y es la más costosa. Decir que un modelo no tiene sesgo es una afirmación medible, del mismo tipo que decir que un motor consume cierta cantidad de combustible. Exige un conjunto de prueba apartado, subgrupos definidos, una métrica de error calculada para cada subgrupo y un resultado publicado. Sin ese desglose no hay resultado: hay una aspiración vendida como hecho.
Lo que falla acá no es la tecnología de reconocimiento facial. Es la cadena que va del laboratorio a la hoja de producto. En algún punto un dato interno aproximado se convirtió en una afirmación comercial redonda, y nadie tenía la tarea de comprobar que lo que decía el material de venta coincidiera con lo que decía la medición.
Dónde te puede pasar a ti
Este es probablemente el fallo más común de todos, porque no exige un modelo propio. Basta con describir uno:
- "Nuestro bot resuelve el 90% de las consultas", sin que exista una definición escrita de qué cuenta como resuelta.
- "Entrenado con toda la información de la empresa", cuando lo que se indexó fueron tres documentos y un archivo de preguntas frecuentes.
- "Precisión del 99%", medida sobre los mismos ejemplos con los que se ajustó el sistema.
- Una cobertura prometida en la propuesta que nadie volvió a medir después de la firma.
Cómo se evita
- Cada afirmación de desempeño se escribe como medición. Qué métrica, sobre qué conjunto y con qué fecha. Una cifra sin esas tres cosas no se puede comparar contra nada.
- El conjunto de prueba se aparta antes y no se toca. Si se mide sobre los mismos datos con los que se ajustó, el número que sale describe la memoria del sistema, no su desempeño.
- El sesgo se mide por subgrupo y se publica el desglose. El promedio general esconde exactamente lo que la afirmación pretende descartar.
- Se cuentan unidades distintas, no archivos. Personas, documentos, clientes. La unidad que se reporta tiene que ser la que sostiene la promesa.
- Lo que no se midió, se declara como no medido. Es una frase incómoda en una propuesta y es infinitamente más barata que una corrección pública.
Cómo lo hacemos en Catalizadora
Ninguna cifra de desempeño de un sistema nuestro sale de una impresión: sale de una batería de pruebas que corre contra un conjunto apartado y deja el resultado con fecha. Cuando un cliente pregunta cuánto resuelve su asistente, la respuesta es un número medido, con la definición de resuelto escrita al lado. Y lo que todavía no se midió se dice tal cual, sin rellenarlo con un estimado.