¿Pueden ser racistas los algoritmos?

La pregunta, lo reconozco, puede ser algo extraña. Pocas cosas hay en este mundo más confiables, más neutrales y menos 'sesgados' que un buen algoritmo. Pensar que un ordenador puede ser racista, machista o fan de Joss Whedon nos puede parecer hasta ridículo.

Y sin embargo, recientes investigaciones de Harvard y Georgetown están poniendo patas arriba todo lo que creíamos sobre internet como el 'mayor nivelador social' de la historia. ¿Y si los resultados que nos ofrecieran los buscadores fueran xenófobos, sexistas o estuvieran sesgados ideológicamente sin que lo supiéramos?

Latanya Sweeney es profesora de ciencias políticas y tecnología en la Universidad de Harvard. Un día en su despacho de la universidad googleó su nombre para buscar un artículo que había escrito hacía unos años. En la siguiente imagen se puede ver lo que encontró:

Fue sorprendente porque la profesora Sweeney nunca había arrestada. ¿Por qué, entonces, Google devolvía esos anuncios al buscar su nombre? Tras investigar un poco y probar con algunos nombres, surgió una hipótesis un poco extravagante, ¿y si los resultados variaban dependiendo de si tenías un nombre 'negro' o no?

Parecía ridículo. Al fin y al cabo, un algoritmo es un algoritmo ¿Qué hay más objetivo que un algoritmo? ¿Cómo podía un algoritmo ser racista? Lamentablemente, y tras una investigación por todo Estados Unidos, Sweeney descubrió que, en efecto, a medida que crecía la probabilidad de que un nombre perteneciera a una persona de color mayor era la probabilidad de que apareciera vinculado a arrestos o antecedentes penales (aunque esos anuncios no llevaran luego a antecedentes reales). Efectivamente, los ordenadores eran racistas.

¿Cómo es esto posible?

Antes de ponernos en plan inquisidor hemos de reconocer que, aunque nunca lo hubiéramos pensando antes, es normal. Como dice Alvaro Bedoya, del Center on Privacy and Technology, cualquier algoritmo que se precie prenderá de los procesos de discriminación y polarización que se den donde trabajen: si existen desigualdades de género al seleccionar personal, el algoritmo aprenderá de esas desigualdades y se adaptará a ellas.

Así que la respuesta más que en largas líneas de comandos, parece estar en que los algoritmos, las máquinas y los ordenadores viven en el mundo real, interacciona con él y aprende de él: la inteligencia artificial (el machine learning) era esto.

Esto hace el problema mucho más complejo. La matemática Cathy O'Neil avisaba de que aunque los algoritmos tienen un gran potencial para mejorar el mundo, pueden movernos hacia la dirección contraria. De hecho, a menudo cosas hechas con la mejor intención salen realmente mal.

Nos encontramos ante una versión extraña del problema de los filtros pero a escala social: como en el callejón del gato, Internet nos devuelve una versión a la vez real y deformada de nosotros mismos.

¿Cómo se soluciona esto?

Ante la posibilidad de que la aparente neutralidad del big data y los algoritmos disimulen bajo una capa de barniz situaciones sociales sociales injustas y violaciones de las libertades civiles, Sweeney y Bedoya plantean tres estrategias fundamentales que llevar a cabo:

• Fortaleces la sociedad civil mejorando los conocimientos tecnológicos de los expertos en derecho e incentivando la implicación social de los expertos en tecnología. Necesitamos más ingenieros participando en los debates políticos y más los políticos familiarizados con los algoritmos y el big data.

• Defendiendo la "transparencia algorítmica". Hay que asegurar que los algoritmos que sustentan sistemas básicos de cohesión social como la educación, la sanidad o la justicia son abiertos y trasparentes.

• Protegiendo socialmente los datos personales. No solo es que las leyes y regulaciones van muy por detrás de la tecnología en lo que a protección de datos personales se refiere, es que en muchos casos las normas que se desarrollan ex novo no resultan efectivas.

A medida que la promesa de las nuevas tecnología se van haciendo realidad y el adjetivo de "nuevas" queda cada vez más obsoleto y sin sentido, vamos descubriendo que esto iba en serio. Como dijera el famoso filósofo social Benjamin Parker, 'un gran poder conlleva una gran responsabilidad'. Y los debates que vienen serán claves para saber qué responsabilidad estamos dispuestos a asumir como sociedad.

Via | Ford Foundation Images | raphaelestrada,