Qué pasó
El Ayuntamiento de Ámsterdam quiso hacer las cosas bien. Su proyecto Smart Check, un algoritmo para el sistema de asistencia social, no fue un experimento improvisado: se diseñó explícitamente para ser justo, siguiendo el manual de lo que hoy se llama inteligencia artificial responsable. Consultas, revisiones, criterios de equidad incorporados desde el planteamiento.
La ciudad invirtió alrededor de 500.000 euros. Y terminó apagándolo.
El caso, documentado por MIT Technology Review, es incómodo por una razón específica: no es la historia de una organización descuidada que soltó un sistema sin pensarlo. Es la historia de una que aplicó el procedimiento completo y aun así obtuvo un resultado que la obligó a detener el sistema.
Por qué pasó
Diseñar para la equidad y verificar la equidad son dos actividades distintas, y solo una de las dos produce evidencia.
El diseño trabaja con supuestos: qué variables podrían introducir un sesgo, qué grupos podrían quedar en desventaja, qué correcciones aplicar. Son hipótesis razonables formuladas antes de ver el comportamiento del sistema con personas reales. Un manual de inteligencia artificial responsable es un buen conjunto de hipótesis. No es una medición.
La verificación es otra cosa: observar las decisiones que el sistema produce sobre la población real, desagregadas por grupo, y compararlas con lo que ocurre sin el sistema. Ese paso solo existe después de encender, y por eso suele quedar fuera del proyecto. El presupuesto y el entusiasmo se concentran en construir; la medición posterior no tiene entregable visible y compite con el siguiente proyecto.
El segundo elemento es el efecto tranquilizador del propio manual. Cuando un equipo cumple todos los pasos de un marco reconocido, la sensación de haber cubierto el riesgo es legítima y también es engañosa: el cumplimiento documenta el esfuerzo, no el resultado. Ese es exactamente el punto donde la revisión posterior parece redundante.
Conviene ser preciso con el desenlace: Ámsterdam apagó el sistema. Eso significa que alguien estaba mirando. Los 500.000 euros compraron un algoritmo que no sirvió y también compraron la información de que no servía. El fallo caro no es el que se detecta y se corta; es el que sigue operando durante años porque nadie definió cómo se vería un mal resultado.
Dónde te puede pasar a ti
El patrón es el mismo cada vez que un sistema automatizado decide sobre personas y la única evidencia de que funciona es el documento de diseño:
- Un filtro de currículums que se armó con criterios revisados, pero cuyos resultados nadie desagregó nunca por perfil de candidato.
- Un puntaje de riesgo para aprobar créditos que se auditó antes de lanzarse y no después.
- Una asignación automática de descuentos, cupos o turnos que quedó funcionando sin comparación contra el criterio humano que sustituyó.
- Una política de moderación automática de la que solo se conocen los casos que alguien reclamó.
En todos, el sistema podría estar funcionando bien. El problema es que nadie puede afirmarlo con datos.
Cómo se evita
- La medición posterior se presupuesta con el proyecto. Si construir cuesta cien, medir durante el primer año es parte de ese cien, con responsable y fecha. Un proyecto sin esa partida no está terminado, está a medias.
- Definir el mal resultado antes de encender. Se escribe por adelantado qué diferencia entre grupos se considera inaceptable y qué se hace si aparece. Sin ese umbral escrito, cualquier cifra se puede racionalizar después.
- Un interruptor real. Alguien tiene autoridad explícita para apagar el sistema, y apagarlo no requiere convencer a quien lo construyó.
- Comparación contra el proceso anterior. El sistema no se evalúa contra la perfección, sino contra lo que había antes, medido con el mismo criterio.
Cumplir el manual sigue valiendo la pena. Lo que no vale es tratar el cumplimiento como prueba de resultado.
Cómo lo hacemos en Catalizadora
En los sistemas que construimos, todo automatismo que decide sobre personas se define junto con su umbral de apagado: qué señal concreta obliga a detenerlo y quién puede hacerlo sin pedir permiso a nadie. Las decisiones quedan registradas de forma que se puedan revisar por grupo después, no solo caso por caso. Y la revisión posterior entra al calendario el mismo día que el sistema entra en producción, con responsable asignado. Si no hay forma de medirlo funcionando, no lo encendemos.