Los algoritmos con sesgo racial y de género son un problema que venimos arrastrando desde los años 80

La problemática en torno a la existencia de sesgos raciales y de género en algoritmos de inteligencia artificial es un tema espinoso que ya ha sobrepasado el ámbito de los desarrolladores para llegar al debate público.

Pero, ¿cuándo se detectó por primera vez un caso así? Un repaso al número de diciembre de 1986 del RISKS Digest (una publicación de la Association for Computing Machinery) nos los aclarará.

En la década de los '70, Geoffrey Franglen ejercía como vicedecano de la Escuela de Medicina del Hospital St. George's (Londres). Una de sus labores era la de evaluar las solicitudes de admisión realizadas por los 2.500 solicitantes que, de media, aspiraban cada año a ser aceptados en el centro.

Franglen se propuso automatizar el proceso de lectura de las solicitudes escritas, en el que se rechazaba a 3 de cada 4 aspirantes, antes incluso de llegar a la entrevista (un proceso que, éste sí, lograba superar el 70% de los que se sometían a la misma).

Le movían en ese empeño dos factores: 1) que estimaba que esa labor consumía mucho tiempo a varios miembros del personal de la escuela (él entre ellos); y 2) que estaba convencido de poder suprimir las "inconsistencias" de criterios que mostraban ocasionalmente los evaluadores humanos, dando lugar así a un proceso mucho más justo.

Un proceso "más justo"... que no resultó como se esperaba

Tras estudiar el modo en que él y sus compañeros evaluaban las solicitudes, se puso a escribir un algoritmo que reflejase el mismo comportamiento. En 1979, una vez logró finalizarlo, los estudiantes fueron sometidos a una doble prueba: por un lado el algoritmo, por otro los evaluadores humanos.

Franglen descubrió que las calificaciones de ambos coincidían un 90-95% de las veces. Para los administradores del centro, esto demostraba que un algoritmo podía reemplazar a los humanos. Tres años más tarde, todas las solicitudes iniciales enviadas al St. George's quedaron ya en manos del programa.

Pero en 1984 la plantilla de la escuela empezó a expresar su preocupación por la falta de diversidad de los candidatos seleccionados. Llegó a haber una 'revisión interna' del algoritmo, en el que se detectó que el mismo tenía en cuenta factores a priori no relevantes, como el nombre o el lugar de nacimiento.

La defensa de Franglen fue sencilla: no eran sino los mismos factores que se habían tenido en cuenta hasta ese mismo momento. Y, en cualquier caso, decía, sólo tendrían un efecto marginal en el resultado final.

Sin embargo, en 1986 dos profesores del centro llevaron los resultados de esa revisión interna ante la Comisión para la Igualdad Racial del Reino Unido. Su denuncia se centraba en que tenían razones para creer que el algoritmo estaba siendo utilizado para discriminar de manera encubierta a mujeres y minorías raciales. Eso llevó a que la comisión pusiera en marcha una investigación profunda al respecto.

La revisión de los criterios usados por el algoritmo causó un pequeño escándalo en aquel momento. Así, se supo que a la hora de valorar el nombre del solicitante, se le otorgaba a este el valor de "caucásico" o "no caucásico" dependiendo de si tenía o no origen europeo.

En caso negativo, llegaba a descontar automáticamente 15 puntos en la valoración. Los nombres femeninos, por contra, 'sólo' restaban 3 puntos. Se calculó que hasta 60 personas al año habían sido excluidas por el algoritmo a causa esta circunstancia.

La escuela fue declarada culpable de discriminación racial y de género, e intentó salvar la situación ofreciendo cursar medicina a una pequeña fracción de los estudiantes rechazados en los años precedentes. La comisión, por su parte, amenazó con duras sanciones a los próximos centros que fueran detectados llevando a cabo las mismas prácticas.

'Pillados' gracias a la automatización

Pero el diario británico The Guardian, sin embargo, recordaba entonces que "pocas más universidades, si las hay, operan programas de selección computarizados, por lo que la discriminación será mucho más difícil, si no imposible, de demostrar".

Efectivamente, si la discriminación del St. George's pudo detectarse fue únicamente porque habían dejado por escrito esos sesgos previos de los evaluadores, congelados en unas líneas de código.

La comisión, por tanto, señaló en su dictamen que el problema en la escuela no era sólo técnico, sino también cultural; y que a eso se le sumó que muchos miembros del personal no se molestaron en preguntarse qué criterios aplicaba el software: tendieron a pensar que una máquina era incuestionable.

Aunque en aquel momento no se podía hablar de inteligencia artificial propiamente dicha (lejos quedaba aún el auge del machine learning y tecnologías similares), la historia del primer caso en que un algoritmo permitió replicar sesgos humanos al tiempo que se les asignaba un aura de objetividad por el mero hecho de estar aplicados por una máquina ofrecía ya en los 80 lecciones que hubiera estado bien tener presentes al diseñar algunas IAs del presente.

Kate Crawford, de Microsoft Research, explicaba en IEEE Spectrum que "es hora de reconocer que los algoritmos son una creación humana que hereda nuestros prejuicios [...]: nuestra IA será tan buena como lo seamos nosotros".