De acuerdo a un estudio publicado por el Instituto Nacional de Estándares y Tecnología (NIDT), una agencia del gobierno estadounidense, los algoritmos de reconocimiento facial tienen bastantes problemas a la hora de reconocer a las personas afroamericanas y asiáticas. El estudio ha analizado 189 algoritmos de 99 desarrolladores (Microsoft, Intel y SenseTime, entre otros muchos) y las conclusiones son que siguen habiendo margen de mejora en lo que a sesgo racial se refiere.
Como explica Patrick Grother, autor principal del estudio (PDF), "si bien es generalmente incorrecto hacer declaraciones a través de algoritmos, encontramos evidencia empírica de la existencia de diferenciales demográficos en la mayoría de los algoritmos de reconocimiento facial que estudiamos". Un diferencial, para ponerlo en contexto, se produce cuando la capacidad de un algoritmo para vincular dos imágenes de una misma persona varía de un grupo demográfico a otro.
Muchos más falsos positivos en personas afroamericanas y asiáticas
El estudio contempla el desempeño de los algoritmos de reconocimiento facial en dos tareas. La primera, una prueba "one-to-one", que consiste en confirmar que una foto coincide con otra foto diferente de una misma persona en la misma base de datos. Esto, por ejemplo, se usa para verificar un pasaporte o para desbloquear un smartphone con reconocimiento facial en 2D. La segunda prueba, "one-to many", consiste en determinar si la persona en una foto tiene alguna coincidencia en una base de datos, útil para, por ejemplo, identificar a una persona en busca y captura.
Los investigadores explican que para evaluar el rendimiento de los algoritmos se midieron dos parámetros: falsos negativos y falsos positivos. Un falso negativo se produce cuando el software no hace coincidir dos fotos que muestran a la misma persona. Un falso positivo, por su parte, se produce cuando el software considera que dos fotos en las que aparecen diferentes personas muestran a una misma persona.
La prueba se llevó a cabo con cuatro bases de datos de fotografías con 18,27 millones de imágenes de 8,49 millones de personas, todas ellas provenientes del Departamento de Estado, el Departamento de Seguridad Nacional y el FBI. Aclaran que "el equipo no usó ninguna imagen obtenida directamente de fuentes de Internet como las redes sociales o videovigilancia". Cada imagen estaba etiquetada con la edad, el sexo y la raza o país de nacimiento de la persona fotografiada.
¿Cuáles fueron los resultados? El principal es que el emparejamiento "one-to-one" tiene tasas más altas de fasos positivos para rostros asiáticos y afroamericanos en comparación con los rostros caucásicos. ¿Cuánto exactamente? Un factor de diez a cien veces, dependiendo del algoritmo. Señalan los investigadores que "los falsos positivos pueden presentar un problema de seguridad para el propietario del sistema, ya que pueden permitir el acceso a impostores".
En cuanto a los algoritmos desarrollados en Estados Unidos, estos presentaron tasas similares de falsos positivos en individuos asiáticos, afroamericanos y nativos como indios americanos o indios de Alaska. Contrasta con los algoritmos desarrollados en países asiáticos, que no presentaron "una diferencia tan dramática en los falsos positivos en el emparejamiento "one-to-one" de caras asiáticas y caucásicas". Si bien el estudio no abordar la relación causa-efecto de este hecho, creen que el motivo puede ser que estos hayan sido entrenados con datos más diversos.
En lo referente al emparejamiento "one-to-many", las mujeres afroamericanas fueron las que presentaron tasas más altas de falsos positivos. Argumentan los investigadores que los diferenciales en falsos positivos "son particularmente importantes porque las consecuencias podrían incluir acusaciones falsas". Destacan también que en esta prueba se usó una base de datos de FBI con 1,6 millones de fotos.
El estudio llega a la conclusión de que diferentes algoritmos funcionan de manera diferente, a pesar de que hacen prácticamente lo mismo, y que los algoritmos más equitativos se encuentran entre los más precisos. Y es que los algoritmos, si se entrenan con imágenes sesgadas por raza o sexo, fallarán al intentar reconocer a las personas. Es un debate abierto y que no es la primera vez que sale a colación.
Más información | NIST
Ver 2 comentarios
2 comentarios
kawjones
No se si es por vagueria, por salvar el expediente o por simple desidia pero este es un problema que se veia de venir y que afecta principalmente a los occidentalis-listillus-capullos que más allá de las implicaciones ideólogicas genera un grave problema de seguridad . No haber que ser "experto" para inferir que la estabas pifiando si solo te dedicas a registrar un sector de la población
Los falsos positivos son un problema de 2 caras: por una "criminaliza" a determinado sector de la población con las consiguientes repercusiones mediáticas pero por el otro distrae muchos recursos, genera pistas falsas y lleva a callejones sin salida que dificultan la utilidad del sistema.
Imagino que los chinos, que tambien tienen sus sistemas, tendran menos problemas para identificar las caras de sus nacionales (aunque a nosostros nos parecen todos iguales) por la "educación" a la que habran sometido a sus aplicaciones (tal vez se le escape alguna etnia del interior) y que los israelitas tendran bien adiestrados para reconocer las diferentes facciones árabes.
Usuario desactivado
Pero joder, esto es algo de puto cajón en estadistica, si usas una muestra sesgada los resultados se van a alejar de la realidad ¿en que narices estaban pensando?