Lo que diga un algoritmo es suficiente para arrestarnos. Pero las máquinas también se equivocan. El New York Times describe el caso de Robert Julian-Borchak Williams, quien fue arrestado enfrente de su mujer e hijos el pasado enero en la ciudad de Detroit tras ser identificado por un algoritmo de reconocimiento facial. Salvo que en realidad él no tenía nada que ver con quien la policía andaba buscando.
Se trata del primer caso conocido de una persona arrestada erróneamente tras ser identificada por un software de reconocimiento facial. Williams fue acusado de robar cinco relojes por un valor de casi 4.000 dólares en una tienda, en octubre de 2018. Debido a ello fue enviado a la sala de interrogación y retenido durante unas 30 horas, antes de quedar en libertad sin cargos.
Un ejemplo claro de discriminación racial en los algoritmos
DataWorks Plus, el software utilizado por la policía del estado de Michigan, identificó a Williams después de conectar la foto de su licencia de conducir con las imágenes de la cámara de vigilancia de la noche del crimen.
Pero lo que para el reconocimiento facial era un caso de posible positivo de persona identificada, según describe NPR, para los policías estaba claro que no eran la misma persona. "La máquina lo ha captado mal", parece que indicó el policía después de comparar presencialmente las imágenes con el propio Williams.
"Cuando miro la foto de la persona, solo veo a un negro grande. No veo ningún parecido. No creo que se parezca a mí en absoluto. Espero que no piense que todos los negros son iguales", explica Williams.
Robert Julian-Borchak Williams had no idea his driver's license photo was in the police's facial recognition database until 2 officers arrested him on his front lawn for a crime he did not commit https://t.co/cUKVklQR95
— NYT National News (@NYTNational) June 25, 2020
Sin embargo, pese al claro error del software, Williams no fue inmediatamente liberado y estuvo retenido durante toda la noche con una fianza de mil dólares, según describe el NYTimes.
El software DataWorks Plus no identificó a Williams como el culpable directo, simplemente envió una información de un posible sospechoso. Según recoge el informe policial: "es solo una pista de investigación y no es causa probable de arresto". Este proceso tuvo un error adicional, pues la imagen fue mostrada también a un guardia de seguridad, quien también identificó erróneamente a la persona.
BREAKING: We're filing a complaint against Detroit police for wrongfully arresting Robert Williams, an innocent Black man — all because face recognition technology can't tell Black people apart.
— ACLU (@ACLU) June 24, 2020
Officers hauled him away in front of his kids and locked him up for 30 hours. pic.twitter.com/84XJs0XWqu
Distintos expertos en inteligencia artificial han señalado que los sistemas de reconocimiento facial tienen un problema de discriminación racial por falta de muestras, siendo el caso de Williams el primero que ha tenido consecuencias directas.
A principios del mes de junio, IBM anunció que ponía fin al desarrollo y la venta de software para el reconocimiento facial. El CEO de IBM enviaba una carta alertando que "es el momento de iniciar un diálogo nacional sobre si la tecnología de reconocimiento facial debe ser empleada por los organismos nacionales encargados de hacer cumplir la ley".
En respuesta, a través de un comunicado, la Fiscalía del condado de Wayne ha emitido sus disculpas explicando que "no compensa de ninguna manera las horas que Mr.Williams pasó en la cárcel". En esta línea, el acusado podrá ver el caso y sus huellas digitales borradas de la base de datos.
Ver 17 comentarios
17 comentarios
pablo_
El problema de raíz aquí es que se está dando poder ejecutivo al algorirmo cuando solo debería ser orientativo. El procedimiento correcto sería: el algoritmo lanza una alerta de coincidencia, así que verifico por todos los medios de los que dispongo si la coincidencia es realmente tal. Aunque el trabajo sea mayor que hacer lo que dice el algoritmo y callar, sigue siendo muy inferior al que habría que hacer sin la existencia de estas herramientas.
Si se siguiera este procedimiento, el error seguiría siendo humano por haber verificado incorrectamente la coincidencia detectada por el algoritmo, y no del algoritmo como tal. El problema es cuando estas herramientas se venden como máquinas infalibles y los que las compran se lo creen. Ahí se empieza a hacer un uso indebido de las mismas, y se acaba señalando al algoritmo cuando debería señalarse al usuario.
Y con esto dicho, es absolutamente cierto que el problema del racismo en machine learning existe, y es un gran reto porque no hay soluciones perfectas a este problema. Pero es precisamente por esto que estos algoritmos jamás deberían de tener poder ejecutivo.
kosme
y cual fue la compensación por el mal rato por perder 30 horas detenido y el trauma del hijo al ver q se llevan su padre detenido???
ah.. ya lo vi... pagar 1000 dólares extra, vale vale
jularaxd
Lo que tenemos que mirar es la tasa de error de estos algoritmos, comparada de la tasa de error de los humanos.
agtejeo
Lo detuvieron porque era negro....
Ahora en serio en la noticia original se refiere que el vigilante NO ASEGURÓ que fuera el sospechoso sino que SE LE PARECÍA, y aún así el oficial de policía procedió a la detención.
Cufloc
Pero 30 horas arrestado. Y luego dirán que no hay racismo. JÁ
rafaelcely
El algoritmo lo hizo el KU KUX KLAN
skyochenta
No puedo creer que lo hayáis dirigido a discriminación racial