Qué pasó
Mobile Fortify es la aplicación de reconocimiento facial que agentes de ICE usan en campo: se apunta la cámara del teléfono a una persona y el sistema devuelve una identidad.
En Oregón, esa aplicación fue usada sobre una misma mujer detenida y devolvió dos identidades distintas. Las dos estaban equivocadas. El caso lo documentó 404 Media.
El dato relevante es el 2. No es que el sistema haya fallado una vez, lo que cualquier tecnología puede hacer. Es que falló dos veces sobre la misma cara, con resultados diferentes entre sí, y en ninguno de los dos intentos hubo señal de que algo estuviera mal. El sistema no dijo "no sé". Dijo un nombre. Y después dijo otro.
Los números
- $23,9M — contrato NEC-DHS 2020-2023: rostros ilimitados, equipos ilimitados, lugares ilimitados
- 2 nombres falsos — dio la app sobre una misma mujer, que quedó detenida; ninguno de los dos era el suyo
- 15 años — que el gobierno guarda la foto de un ciudadano estadounidense escaneado con la app
- 30 organizaciones — firmaron la carta que le exige a DHS apagar Mobile Fortify
Verificado contra wired.com.
Por qué pasó
El reconocimiento facial no identifica: compara. Toma una imagen, la convierte en una representación numérica y busca en una base los registros más parecidos. Lo que devuelve es una lista ordenada por semejanza, con un puntaje. Eso es una probabilidad, no una identidad.
La conversión de esa probabilidad en un nombre ocurre en la interfaz, no en el modelo. Alguien decidió qué umbral se considera suficiente, si se muestra el puntaje al agente, si se muestran las alternativas o solo la primera, y qué se despliega cuando ninguna candidata es buena. Cuando esas decisiones se toman a favor de la simplicidad, la pantalla enseña un nombre limpio y el agente recibe una certeza que el sistema nunca tuvo. Dos consultas con encuadre, luz o ángulo distintos pueden ordenar la lista de otra forma y producir dos nombres distintos, exactamente lo que ocurrió.
El segundo tramo del fallo es institucional. Una coincidencia biométrica es una pista: sirve para decidir qué verificar después, no para cerrar el caso. Cuando el resultado se usa como prueba y no como punto de partida, se salta el paso que corrige el error, que es contrastar contra un documento, un registro o una entrevista. Ahí el error deja de ser técnico, porque ya no lo comete el sistema: lo comete el procedimiento que lo tomó al pie de la letra.
Dónde te puede pasar a ti
Ninguna organización necesita operar a escala federal para repetir el patrón. Basta con tratar una coincidencia como una certeza:
- El control de acceso por rostro o huella que abre la puerta sin segundo factor y sin registro de qué puntaje tuvo.
- La verificación de identidad de clientes nuevos que aprueba una cuenta comparando una selfie con un documento, sin revisión humana en los casos dudosos.
- El sistema antifraude que bloquea a un cliente legítimo por parecido con una lista, sin ruta de apelación.
- El CRM que fusiona dos personas en un solo registro porque el nombre coincide, y mezcla el historial de ambas.
El daño no lo produce el parecido. Lo produce que no exista un paso posterior donde el parecido se confirme.
Cómo se evita
- Mostrar el puntaje y las alternativas. Una interfaz que solo enseña el primer resultado convierte una lista de probabilidades en un veredicto. Ver el segundo y el tercero cambia lo que el operador entiende.
- Tener una respuesta explícita para el "no sé". Por debajo del umbral, el sistema no propone un nombre. Deja el campo vacío. Un vacío es información; un nombre débil es desinformación.
- Ninguna decisión irreversible con un solo factor. Una coincidencia biométrica se confirma contra un documento o un registro independiente antes de que se tome cualquier medida sobre la persona.
- Registrar cada consulta con su resultado. Sin bitácora no se puede detectar que el mismo rostro produjo dos nombres, que es justamente lo que destapó este caso.
- Medir el error por subgrupo, no en promedio. Una tasa global de acierto puede esconder un desempeño mucho peor en un grupo específico, y ese es el grupo que paga el error.
Cómo lo hacemos en Catalizadora
En los sistemas que construimos, ninguna coincidencia automática ejecuta por sí sola una acción que afecte a una persona: si el puntaje no supera el umbral acordado, el flujo se detiene y pasa a revisión humana con las alternativas a la vista. Toda consulta queda registrada con su resultado y su nivel de confianza, para que un patrón raro se pueda encontrar después. Y el "no sé" del sistema se muestra tal cual, sin rellenarlo con la mejor conjetura disponible.