Qué pasó
Un repartidor de Uber Eats perdió el acceso a su cuenta porque el sistema de verificación por selfie de la plataforma no lograba confirmar que él era él. Para trabajar tenía que enviar una foto de su rostro; el reconocimiento facial la rechazaba. Sin verificación, no había cuenta. Sin cuenta, no había trabajo.
El desacuerdo con esa decisión automática no se resolvió dentro de la aplicación. Terminó en un litigio que tomó dos años y medio y que cerró con un acuerdo, según TechCrunch.
Dos años y medio es el dato del caso. No dos semanas de cuenta suspendida: dos años y medio para revertir lo que una comparación de imágenes decidió en segundos.
Por qué pasó
Todo sistema de reconocimiento facial tiene una tasa de error, y esa tasa no se reparte igual entre todas las caras. Eso se sabe, se mide y está documentado desde hace años. No es una sorpresa técnica.
El fallo de implementación fue otro: poner ese sistema como única puerta entre una persona y su ingreso, y dejar la puerta sin llave humana del otro lado. Cuando un modelo con margen de error conocido tiene la última palabra sobre si alguien puede trabajar, ese margen deja de ser una estadística y se vuelve una decisión definitiva sobre un caso concreto.
Una apelación solo cuenta como apelación si cumple tres condiciones al mismo tiempo: la atiende una persona, esa persona puede revertir la decisión y hay un plazo. Si falta cualquiera de las tres, lo que existe es un formulario. Y cuando el formulario no alcanza, el único canal que queda es un tribunal, que trabaja en años mientras el ingreso de alguien está detenido.
Dónde te puede pasar a ti
- Verificación de identidad para abrir cuenta o para cobrar: un documento borroso, un nombre con dos apellidos, una foto con lentes.
- Control de acceso biométrico a una planta o a un turno de trabajo.
- Moderación automática que suspende a un vendedor del marketplace por una señal de fraude.
- Un filtro de IA que descarta currículums antes de que un reclutador vea uno solo.
- Un bot de atención que cierra el ticket porque clasificó mal la intención del cliente.
El patrón es siempre el mismo: una decisión automática con consecuencia real y ninguna vía práctica para discutirla. La consecuencia llega en segundos; la discusión, si llega, tarda meses.
Cómo se evita
- Ningún modelo decide solo sobre el sustento, el acceso o el dinero de una persona. Puede recomendar, marcar y priorizar. La acción que corta el ingreso la confirma alguien con nombre.
- Apelación con responsable, plazo y poder de revertir. Un canal que responde en 24 o 48 horas, atendido por una persona que puede reactivar la cuenta sin pedir autorización a otra área.
- Mide el error por segmento, no en promedio. Un acierto global alto puede convivir con un desempeño mucho peor en un grupo específico, y el promedio lo esconde.
- Registro legible de cada bloqueo: qué lo disparó, con qué evidencia y quién puede levantarlo. Sin ese registro no se puede saber siquiera cuántos casos como este hay dentro de la operación.
Ninguno de los cuatro mecanismos exige renunciar a la verificación automática. Exigen que el error del sistema tenga una salida que no sea un juzgado.
Cómo lo hacemos en Catalizadora
En los sistemas que construimos, la IA clasifica y propone; las acciones con consecuencia real —bloquear, cerrar, descartar, cobrar— quedan del lado de una persona con un botón para revertirlas. Cada decisión automática guarda su motivo en la ficha, en lenguaje entendible. Y cuando el bot no está seguro, no adivina: traspasa, y ese traspaso queda contado en el tablero.