Qué pasó
Workado vendía un detector de contenido generado por inteligencia artificial. Su promesa comercial era un número: 98% de precisión. Es la clase de cifra que cierra una venta sola, porque quien la lee entiende "esto casi nunca se equivoca".
La Comisión Federal de Comercio de Estados Unidos revisó ese número. Al medir el producto sobre contenido general, la precisión real fue de 53%. La orden de la FTC obliga a la empresa a respaldar con evidencia las afirmaciones que haga sobre su capacidad de detección.
El resumen de la propia FTC fue directo: el producto no lo hizo mejor que lanzar una moneda al aire.
La distancia entre 98% y 53% no describe un modelo malo. Describe una medición que viajó a la página de ventas sin las condiciones en las que se hizo.
Por qué pasó
Una cifra de precisión no sale de la nada. Casi siempre proviene de una medición real, hecha sobre un conjunto de datos concreto, con un tipo de texto concreto y bajo supuestos concretos. Ese número es verdadero dentro de esa frontera.
El fallo de proceso está en que la frontera no viaja con el número. En la hoja de resultados dice "98% sobre este conjunto, en estas condiciones". En el material comercial dice "98%". Nadie mintió en el primer paso; se perdió el contexto en el segundo, y a partir de ahí el número circula como si fuera una propiedad del producto en cualquier escenario.
El segundo elemento es la ausencia de una prueba independiente. Quien construye una herramienta la evalúa con los datos que tiene a mano, que suelen parecerse a los que usó para desarrollarla. Medir el desempeño fuera de esa zona —con material que el sistema no vio nunca, del tipo que un cliente real le va a dar— es un paso separado, y es un paso que cuesta tiempo y no genera una cifra más bonita. Cuando no está en el plan de trabajo con fecha y responsable, no ocurre.
El tercero es la asimetría de incentivos. Un número alto vende, se repite en cada propuesta y se convierte en la identidad del producto. Volver a medirlo solo puede empeorarlo. Sin una obligación externa que fuerce la revisión, la cifra se congela el día que se publicó.
Dónde te puede pasar a ti
Este patrón aparece en los dos lados del mostrador.
Del lado de quien compra: tomas el porcentaje del proveedor, lo repites ante tu cliente o tu jefe y construyes un proceso encima. Si ese detector decide a quién se acusa de haber usado inteligencia artificial en un trabajo, una precisión de 53% significa que aproximadamente la mitad de esas decisiones no tiene sustento, y las consecuencias caen sobre personas concretas.
Del lado de quien vende o construye:
- Mides la exactitud de tu bot sobre 20 preguntas escogidas por el equipo que lo hizo.
- Reportas una tasa de acierto que nadie puede reproducir porque no se guardó el conjunto de prueba.
- Prometes un porcentaje en una propuesta sin decir sobre qué se midió.
- Repites la cifra del fabricante en tu documentación como si fuera propia.
Cómo se evita
- Ninguna cifra sin su frontera. Todo porcentaje se publica con la respuesta a tres preguntas: sobre qué datos, con qué método y en qué fecha. Un número sin esas tres cosas no es un dato, es una impresión.
- La prueba se arma antes de construir. El conjunto de evaluación se define y se congela antes de desarrollar la herramienta, y se guarda para poder repetir la medición.
- Medición fuera de la zona conocida. El desempeño se comprueba con material del mundo real del cliente, no con ejemplos parecidos a los de desarrollo. Si la cifra cae, eso es información, no un fracaso.
- La cifra caduca. Se vuelve a medir con periodicidad fija. Un modelo cambia, los datos de entrada cambian y una precisión de hace un año no describe el sistema de hoy.
Aplicado antes de la venta, este procedimiento no habría producido un producto peor. Habría producido un número más pequeño y defendible.
Cómo lo hacemos en Catalizadora
Cuando un sistema que construimos declara una cifra de desempeño, esa cifra sale de un conjunto de prueba versionado y guardado en el repositorio, con fecha y método anotados. La medición se vuelve a correr en cada cambio relevante, y el resultado que se publica es el de la última corrida, no el mejor histórico. Si una afirmación no se puede reproducir con un comando, no entra a una propuesta ni a un material comercial.