Qué pasó
FrontierMath es un examen de matemáticas diseñado para medir hasta dónde llegan los modelos de inteligencia artificial. Lo construyó Epoch AI, una organización dedicada a evaluar sistemas de IA. Cuando un modelo obtiene un resultado alto ahí, ese número viaja: entra a un anuncio de producto, a una nota de prensa, a la decisión de compra de una empresa que necesita saber qué herramienta contratar.
En enero de 2025, TechCrunch reportó que OpenAI había financiado ese examen y tenía visibilidad de muchos de sus problemas y de sus soluciones. Lo único que le impedía entrenar sus modelos con ese material era un «acuerdo verbal». La organización fue criticada, además, por haber tardado en revelar ese financiamiento.
Nadie afirmó que OpenAI hubiera entrenado con el examen. El punto es otro, y es más incómodo: no había forma de comprobarlo.
Los números
- 300 problemas — OpenAI los encargó, los pagó y es DUEÑO de ellos, con enunciados y soluciones
- 25,2% vs 2% — lo que sacó o3 en ese examen frente a todos los demás modelos, que no pasaban de 2%
- «acuerdo verbal» — la única garantía de que OpenAI no entrenaría con las preguntas que compró
- 50 de 300 — el único bloque cuya solución OpenAI no vio — y esos 50 también son suyos
Verificado contra techcrunch.com.
Por qué pasó
Un examen sirve solo si quien lo toma no vio las respuestas. Es la primera regla de cualquier medición, y no tiene nada que ver con la IA: rige igual en una universidad, en una auditoría contable o en un laboratorio farmacéutico.
Lo que se rompió aquí no fue el examen ni el modelo. Fue la separación entre quien mide y quien es medido. Y se rompió por una razón muy común: construir buenas evaluaciones cuesta dinero y casi nadie quiere pagarlo, salvo las empresas que serán evaluadas. La estructura de financiamiento crea el conflicto antes de que exista mala intención de nadie.
El segundo problema es la naturaleza de la garantía. Un «acuerdo verbal» no es un control: es una expresión de confianza. Un control es algo que deja evidencia y que un tercero puede verificar sin pedir permiso. La diferencia entre ambos no se nota mientras todo va bien; se nota exactamente el día en que alguien pregunta "¿cómo lo sabemos?".
El tercero es el silencio. Cuando el financiamiento se revela tarde, quienes ya tomaron decisiones con ese número las tomaron sin un dato que las habría cambiado. El daño no está en el resultado publicado, sino en las decisiones que se apoyaron en él.
Dónde te puede pasar a ti
Este caso parece lejano porque habla de laboratorios de IA, pero la trampa es de cualquiera que mida su propio trabajo:
- El equipo que construye una automatización es el mismo que define si funcionó, y elige la métrica después de ver el resultado.
- La agencia que ejecuta la campaña es la que arma el reporte de la campaña.
- El proveedor que instala el bot decide qué conversaciones cuentan como "resueltas".
- Las pruebas de un sistema las escribe quien lo programó, con los mismos supuestos que tenía al programarlo.
- Un modelo evalúa la salida de otro modelo que comparte su mismo criterio de qué es una buena respuesta.
En todos los casos el número sale alto. No porque alguien mienta, sino porque quien mide ya sabe qué quiere encontrar.
Cómo se evita
Una medición sin independencia no es una medición. Quien evalúa no puede depender de quien es evaluado. Traducido a decisiones concretas:
- Los criterios se fijan antes de ver el resultado. Qué se mide, con qué umbral y qué significa fallar se escribe primero. Si se define después, se está describiendo, no midiendo.
- Quien construye no firma la aprobación. Puede probar, puede corregir, pero el visto bueno lo da alguien que no tiene interés en que salga bien.
- Un conjunto de datos de prueba que el sistema nunca vio. Se guarda aparte, no se usa para ajustar nada y se rota. Si el material de evaluación entra al material de construcción, el resultado deja de significar algo.
- El conflicto de interés se declara antes, no cuando lo preguntan. Quién paga la evaluación es parte del resultado de la evaluación.
- Si no puedes verificarlo, no es una garantía. Un compromiso que solo existe como conversación no protege a nadie.
Cómo lo hacemos en Catalizadora
Separamos construir de verificar. Cuando un sistema nuestro produce algo que hay que juzgar, quien lo juzga es un proceso distinto, con su propio criterio escrito antes de correr la prueba, y su veredicto queda archivado con evidencia. Los umbrales viven en un candado que corre solo y bloquea el avance cuando no se cumplen. No preguntamos si el equipo cree que quedó bien: preguntamos qué número dio la prueba que el equipo no pudo tocar.