Todo empieza con una constatación inquietante, pero que puede reducirse a la anécdota: una investigadora afroamericana, Joy Buolamwini, se da cuenta de que un programa de reconocimiento facial no distingue ni identifica su rostro como el de una persona cuantificable para su base de datos. Pero sí lo hace cuando se coloca una máscara neutra... y blanca.
Es el punto de partida de un documental que picotea en muchísimos temas, todos a partir de la arbitrariedad y falta de ética con la que los algoritmos recogen información para dar forma a sus bases de datos y los conocimientos con los que van engordando distintas IAs. Una arbitrariedad que toma forma a partir de prejuicios que todos tenemos y que hacen que, por ejemplo, y como dice uno de los participantes en este interesante documental, el racismo se mecanice y se replique.
En otro momento de la acción, el documental cuenta la experiencia de una joven china con el sistema de vigilancia e identificación constante que hay en su país, y el sistema de crédito social. A continuación, una experta norteamericana afirma que el sistema no es tan distinto a la vigilancia occidental de los ciudadanos a través de redes sociales... pero que al menos en China el gobierno lo reconoce.
De este modo, el documental viaja continuamente por todo el mundo, haciéndose preguntas sobre privacidad, tecnología y cómo los nuevos modelos informáticos nos imponen restricciones que en muchos aspectos creíamos superadas. 'Sesgo codificado' no tiene un discurso unívoco e indiscutible, pero sí que lanza al espectador un montón de preguntas que necesitamos hacernos (y sobre todo, responder) con urgencia.
El racismo del algoritmo
'Sesgo codificado' se enmarca en una serie de documentales recientes sobre tecnología que advierten sobre los peligros de cuestiones muy similares: la pérdida de intimidad, cómo la tecnología entra inadvertidamente en aspectos que antes competían estrictamente a los humanos y, en general, el riesgo de perder el control de lo que nosotros mismos hemos creado. Tanto 'El gran hackeo' como 'El dilema de las redes sociales', que también se pueden ver en Netflix, se centraban en la desintegración descontrolada de lo privado.
'Sesgo codificado' también entra en este tema, pero como parte de un problema mayor: la amenaza abstracta de un algoritmo matemático descentralizado que aprende, pero aprende mal. Y sí, se entra en el tema de la manipulación electoral (no siempre premeditada, y esa es una de las cuestiones más inquietantes del conjunto: aquí no hay supervillanos, sino fallas de la sociedad en su conjunto), pero también en la erosión de los derechos individuales, como el empleo que fuerzas del orden británicas o estadounidenses hacen de bases de datos que parten de datos prejuiciosos.
Es en esos momentos cuando el documental juguetea con un tremendismo que amenaza con frivolizar su discurso. Guiños a películas como la adaptación de '1984' o la IA malvada de '2001: Una odisea en el espacio', con una voz robótica hablando en primera persona, son simpáticos pero chocan con la solemne seriedad que exige lo que se está contando. Por suerte, 'Sesgo codificado' y su directora Shalini Kantayya (una de las expertas que aparecen hablando en la película) no olvidan que estamos hablando de tecnología, pero sobre todo, de su impacto en las personas.
"La IA se basa en datos, y los datos son un reflejo de nuestra historia", dice Buolamwini en el documental, y esa es la esencia de la algo amarga conclusión: las IAs son prejuiciosas porque las personas estamos llenas de prejuicios. Pero en la otra cara de la moneda, el documental es optimista y cierra con un pequeño triunfo de la investigadora contra la maquinaria matemática, con un simpático tecnopoema y con una llamada a la acción. Está en nuestra mano poner freno a muchos de los excesos que denuncia "Sesgo codificado", y desde ese punto de vista, pese a las advertencias, sabe ir más allá que otros documentales de su estilo.
Ver 76 comentarios
76 comentarios
perajtomerya
Si hay tribus negras que llevan las cosas en la cabeza a modo de carro, y no hay tribu blanca que haga eso, pues la IA aprende que llevar cosas en la cabeza es más de negro que de blancos. ¿racista? No, realista.
Si a dia de hoy metes a una IA a estudiar el ser humano, y le preguntas ¿quienes son propensos a inmolarse? Pues dirá que los arabes, ¿racista? No, es realista.
Las IAs aprenden de los datos, si los datos son reales pues es lo que hay.
pableras
Documental nwo de netflix. Que podría salir mal....
Un algoritmo no es racista. Hace exactamente lo que le han programado para hacer. A partir de ahí podemos discutir si el programador ha sido ético y si los medios técnicos son suficientes (como cuando antaño las puertas automáticas no se abrían si ibas vestido con ropa oscura). Y en el caso de un algoritmo con aprendizaje, habrá que ver si las fuentes de las que bebe son fiables o no.
Pero atribuirle a una máquina un sesgo racista es algo alejado de la realidad. Por suerte y por desgracia, eso es algo exclusivo del ser humano.
ad0N
Espuma de afeitar es blanca también. Hay que cambiarle de color, que sea negra.
El problema que yo lo veo es: ¿quien va a usar una espuma de afeitar negra?
dbrel
¿Los creadores de las IA capaz tendrán algo que ver no?
iago
Ingeniero de IA aquí.
Decir que una Inteligencia Artificial puede ser racista es tan ridículo como decir que existen estadísticas racistas. Las estadísticas son datos. Las IAs se alimentan con datos.
d__
un algoritmo no es racista, un chino no va a alimentar sus algoritmos de deteccion con negros solo para no parecer racista, sus fuentes de datos son las que tiene a la mano estadisticas, imagenes, info, en un pais africano lo mismo, el racismo solo esta en los ojos de cada quien y todos quieren ofenderse por algo.
franciscopostigogarcia
Si al algoritmo se le alimenta con datos brutos de criminalidad y razas, y llega a la conclusión de que hay que vigilar a una raza específica (como siempre pasa naturalmente, porque los datos del FBI son claros), pues puede que el algoritmo sea racista (si cogemos por definición que se fije más en una raza que en otra) pero eso no significa que sea mal algoritmo. Simplemente habrá visto por analítica y estadística que la raza que todos conocemos comete más crímenes, y que hay que vigilarla más.
si ya los desarrolladores ponen parámetros racistas, eso es otra cosa.
y claro, si hacemos específicamente que no se enfoque más en una raza, tipo, que se enfoque por país de origen, llegaría a la misma conclusión pero con menos exactitud por no incluir más a personas de "esa" raza que han nacido aquí.
vamos, que todos sabemos la verdad, pero es difícil admitir que no toda la población son gente de paz y angelitos.
mund2
Tiene buena pinta este documental, lo añado a "mi lista" para verlo. Lo cierto es que todo lo que rodea la IA es bastante opaco y todas las implicaciones que tiene su utilización caen en zonas grisáceas. Tal vez, hoy por hoy, es pronto para caer en tonos demasiado apocalípticos. Sin embargo, no está de más ser prudentes. Algunxs expertos han pronosticado que las IAs podrían pasar el test de Touring, en cálculos tal vez demasiado optimistas pero que no deberíamos obviar, en unos 10 a 15 años, y eso está como quien dice a la vuelta de la esquina. Vuelve a asomar el debate de si, frente a la IA, seremos apocalípticos o integrados, o si podemos tomar una tercera vía.
AnG-L
La IA aprende mal porque no sale el resultado esperado, ja.
jayjayjay_92
Un algoritmo no es racista. Lo son los datos, y esto es una cuestión evidente para el que entienda un mínimo de inteligencia artificial a nivel conceptual.
Las IAs lo que hacen es aprender en base a una muestra, si la muestra tiene sesgos raciales, sexuales o de cualquier otro tipo pues evidentemente la IA será racista, sexsta, etc.
Eso no es aterrador ni sorprendente, es obvio, si se quieren eliminar los sesgos pues habrá que limpiar los datos antes, no tocar el algoritmo.
nexus01
Que me perdone el autor, pero el hecho de que los datos no te digan lo que quieres oír no los convierte en datos sesgados.
Si en el barrio gitano hay el doble de delincuencia que en los demás, pues eso, que hay el doble te pongas como te pongas.
ernii
Supongo que la queja viene por esas pruebas en estados unidos donde al final acababa dando a la gente afroamericana un alto indice de criminalidad, aun siendo datos veraces, es eso racismo?
Sobre "un programa de reconocimiento facial no distingue ni identifica su rostro como el de una persona"
esto es algo que se va mejorando con el tiempo, pero es normal que a la hora de proporcionar miles de imágenes a una ia para entrenarla, esta le pueda confundir con algún objeto o animal similar. Hay la tan mala suerte de que en este caso suelen confundirlos con simios o primates, pero pensar que esto es algo intencionado ...