Qué pasó
El Belastingdienst, la administración tributaria de Países Bajos, puso a funcionar un sistema de detección de fraude sobre el subsidio de guardería. El sistema revisaba expedientes, les asignaba riesgo y señalaba a quién había que reclamarle de vuelta el dinero recibido.
26.000 familias terminaron acusadas de defraudar ese subsidio. No se trató de anotaciones internas: fueron señalamientos de fraude que cayeron sobre hogares reales, con reclamos de devolución detrás. El desenlace lo cubrió la BBC: el gabinete completo del gobierno renunció.
Un gabinete no renuncia por un error de cálculo. Renuncia cuando el error se sostuvo el tiempo suficiente como para que quede claro que ningún mecanismo interno iba a detenerlo.
Los números
- +1.600 — niños de las familias acusadas fueron retirados de sus hogares por servicios sociales
- 26.000 — padres acusados falsamente de fraude y obligados a devolver todo el subsidio
- €30.000 — la indemnización mínima que el Estado terminó debiéndole a cada familia
- 11.000 — personas fueron sometidas a escrutinio extra solo por tener doble nacionalidad
Verificado contra dutchnews.nl.
Por qué pasó
Conviene decirlo con precisión, porque la lectura fácil de este caso es la equivocada: ningún modelo decidió solo. Un sistema de detección de fraude no elige a quién perseguir, ejecuta criterios que alguien escribió. Y en la cadena que va del criterio a la carta de cobro hubo tres decisiones humanas.
La primera fue elegir los datos. Qué atributos de una familia entran al cálculo no es un detalle técnico: es la definición operativa de a quién va a señalar el sistema. Esa lista se decide una vez, casi siempre en una reunión sin acta, y después queda dentro del software como si fuera una propiedad de la realidad.
La segunda fue aprobar el umbral. Todo puntaje de riesgo necesita una línea: a partir de qué valor una familia deja de estar en la lista de revisión y pasa a la de cobro. Esa línea es una perilla. Moverla hacia arriba reduce los señalamientos equivocados y deja pasar casos; moverla hacia abajo hace lo contrario. Alguien la fijó. Si el número y su justificación no están escritos, nadie puede discutirlos después, ni siquiera adentro.
La tercera es la que convirtió un error en una crisis: no existía una vía real de apelación. Cuando un sistema puede marcar a una persona pero no tiene un camino construido para desmarcarla, los errores no se corrigen de a uno. Se acumulan. Y un error que se acumula durante años deja de parecer un error: parece la política.
Dónde te puede pasar a ti
El patrón no necesita un Estado ni 26.000 familias. Aparece en cualquier operación donde un criterio automático produce una consecuencia sobre una persona:
- Un motor de reglas antifraude que bloquea cuentas de clientes por un patrón de compra.
- Un puntaje de riesgo que decide a quién se le da crédito, plazo o descuento.
- Un filtro que descarta candidatos antes de que alguien lea su currículum.
- Una cobranza automática que emite recordatorios y recargos sin que nadie revise el caso.
La pregunta que ordena todo es una sola: si mañana un cliente reclama que quedó marcado por error, ¿existe alguien que pueda revisar el caso, revertirlo el mismo día y explicar el criterio en palabras entendibles?
Cómo se evita
No hace falta renunciar a la automatización. Hace falta que las tres decisiones humanas queden a la vista.
- Registro de criterio. Qué datos entran al cálculo, quién los eligió y en qué fecha. Un documento corto, versionado junto al sistema, no una conversación recordada.
- El umbral tiene dueño y revisión. El valor se escribe, se justifica y se vuelve a medir contra los casos señalados por error. Una perilla sin responsable se queda donde la dejó el primero que la tocó.
- La apelación se construye al mismo tiempo que el sistema, no después. Si la vía de reclamo no está lista, el sistema no se enciende. Después del lanzamiento siempre es más caro y nunca es prioridad.
- Muestreo humano antes del primer envío. Un lote de casos marcados se revisa a mano y se compara contra el criterio. Si el muestreo no se hace antes del primer cobro, se hace cuando ya hay 26.000.
Cómo lo hacemos en Catalizadora
En los sistemas que construimos, ninguna decisión automática que afecte a una persona sale sin dos cosas cableadas desde el primer día: un registro que guarda con qué datos y con qué umbral se tomó, y una reversión que un humano puede accionar el mismo día sin tocar código. Las reglas sin dueño escrito no se ejecutan: quedan como propuesta hasta que alguien las firma.