Los algoritmos empiezan a dominar nuestra realidad: lo hacen cuando nos recomiendan una canción en Spotify, una serie en Netflix o una compra en Amazon, pero también cuando se encargan de elegir a los mejores candidatos para un trabajo o para conceder un crédito. Todo eso ya no es ciencia-ficción. Está ocurriendo, y lo está haciendo ahora mismo, mientras lees esto.
Eso hace que haya un sentimiento agridulce sobre estos algoritmos que nos hacen la vida más fácil pero también la condicionan. Hay quien precisamente está rebelándose contra los algoritmos, y de hecho la conclusión de quienes advierten de esos peligros es contudente: deberíamos poder auditar esos algoritmos para retomar el control tanto de esos algoritmos como de nuestras vidas.
Los algoritmos son injustos
Es lo que apunta Cathy O'Neil, una científica de datos que hace poco publicó su libro "Weapons of Math Destruction" y que advertía de esa "confianza ciega" que tenemos en los algoritmos: "los algoritmos no son justos de forma inherente, porque la persona que construye ese modelo es la que define el concepto del éxito".
En su libro explicaba cómo por ejemplo en 2010 las escuelas públicas de Washington DC despidieron a más de 200 profesores (incluidos unos cuantos con muy buena reputación) por una fórmula algorítmica que evaluaba su rendimiento.
También hay algoritmos que determinan sentencias judiciales teniendo en cuenta "factores de riesgo" como sus zonas de residencia o los lazos que sus amigos y familia puedan tener con entornos criminales. En el mundo financiero se recolectan datos de distintas fuentes para la toma de decisiones en cuanto a seguros y créditos, algo que según O'Neil a menudo "amplifica los prejuicios contra los desfavorecidos".
Algoritmos auditables y que nos expliquen qué hacen
Zeynep Tufeckci, una profesora de tecnología de la Universida de North Carolina, explicaba recientemente en una charla TED cómo los sistemas computacionales pueden inferir una gran cantidad de conclusiones a partir de los datos que hay de nosotros en la red. Aunque eso tiene impacto positivo en ciertos escenarios, también puede acabar siendo injusto en otros.
Para esta experta el problema reside en que a menudo los algoritmos tratan de responder a preguntas que no tienen una única respuesta correcta. "Hay preguntas subjetivas, con frentes abiertos y con distintas valoraciones que por ejemplo tratan de contestar qué persona debería contratar una empresa, qué actualizaciones de tus amigos deberían ser mostradas en tu cuenta o qué convicto tiene más posibilidades de reincidir".
Todas esas preguntas son demasiado delicadas, y dejarle el control a un algoritmo podría ser contraproducente. Una de las soluciones sería precisamente la de poder auditar esos algoritmos y seguir las líneas de la Unión Europea en cuanto a leyes de protección de datos.
Eso crearía un "derecho a la explicación" que haría que los consumidores pudieran saber por qué un algoritmo ha tomado esa decisión que les afecta y no otra, algo que por ejemplo señalaba Frank Pasquale, profesor de Derecho en la Universidad de Maryland.
Otros no lo tienen tan claro, y Daniel Castro, vicepresidente de la Information Technology and Innovation Foundation explicaba cómo "la gente se enfada y busca a quien echar las culpas. Nos preocupa la objetividad, quién es responsable y las decisiones éticas, y todo ello existe tanto si usas algoritmos como si no".
En Xataka | ¿Puede un algoritmo ser justo aunque el mundo no lo sea?
Ver 15 comentarios
15 comentarios
whisper5
Las redes neuronales utilizadas para el llamado 'deep learning' siguen unas reglas matemáticas muy claras, y por tanto las entendemos. Lo que no podemos explicar es cómo funciona una red neuronal concreta, una vez que ha aprendido, para tomar decisiones. Son cajas negras.
A pesar de que no hemos conseguido crear verdadera inteligencia, nos vamos dando cuenta tras dar unos pequeñitos pasos que los problemas con las máquinas y las futuras inteligencias artificiales no difieren de nuestros problemas. Las decisiones que las personas tomamos están condicionadas por los valores éticos que hemos ido aprendiendo o no. Si una persona ha crecido en un entorno de xenofobia o machismo tomará decisiones acordes a esos comportamientos.
Las máquinas utilizadas en 'deep learning', al igual que las personas, aprenden copiando aquello que 'ven'. En el llamado aprendizaje supervisado se entrenan las máquinas dándoles información para la que ya se sabe la respuesta. Si los datos de entrada son una foto con un gato la salida esperada es 'gato'. Si no lo es, se hacen correcciones matemáticas para minimizar el error. Conforme se muestran más datos más certera es la respuesta. El problema se plantea cuando no son gatos lo que se desea identificar, sino concesiones de crédito, candidatos para un trabajo, riesgos de impago, etc. Si los datos de aprendizaje tenían un sesgo discriminatorio el sistema de 'deep learning' lo habrá aprendido y sufrirá el mismo sesgo.
Las empresas deberían hacerse responsables de sus decisiones, sean hechas por personas o por máquinas. Existen miles de empresas que recopilan y comercian con nuestros datos sin que lo sepamos. Y existen miles de empresas dispuestas a pagar por servicios basados en esos datos que supongan un beneficio, y les da igual si los sistemas de decisión son justos o incluso legales.
Para que se entienda mejor: ¿cuántas personas tienen una o más tarjetas de fidelización de tiendas y supermercados? Sirven para poner nombre y apellidos a las compras que sin esas tarjetas serían anónimas. Unido eso a la enorme cantidad de datos que se rellenan para solicitarlas, las empresas beneficiarias ya pueden crear un perfil del comprador: hábitos alimentarios, artículos preferidos, aficiones, poder adquisitivo, etc. Con todo esa información hay empresas que crean un perfil del comprador y después comercian con él. Que a nadie le extrañe que dentro de unos años le denieguen un seguro médico porque existen registros suyos que indican malos hábitos alimentarios, o que le denieguen un crédito porque en el último año sus gastos se han reducido y compra menos artículos caros, etc. Corremos el riesgo de darles a las máquinas demasiado poder y no tener en cuenta a las personas. Si una empresa utiliza uno de estos sistemas y comprueba que reduce sus impagos o mejora sus beneficios le va a dar igual si el sistema de decisión está sesgado o no, si es justo o no. Al final, como con casi todas las cosas que pasan en el mundo actualmente, debemos decidir si construimos una sociedad para las personas.
a930006
Este es un tema muy interesante.
El problema de este tipo de algoritmos es que anulan el valor de la excepción. Modelizan un entorno ideal y toman decisiones en funcion a ese modelo ideal sin tomar riesgos. Al ser ideal, no tiene en cuanta lo excepcional, el valor único entre un millón. Y creo que precisamente lo mas valioso del ser humano son esas personas excepcionales.
Imagina por un momento que has nacido en un barrio marginal, eres miembro de una minoría étnica, tu familia es pobre y vives en un hogar desestructurada, pero eres la excepción, todos tus amigos y conocidos son delicuentes, traficantes... tu eres esa persona única que puede marcar la diferencia. Inteligente y brillante, abrías llegado muy lejos de rodearte de unas circunstancias distintas. Pero cada vez que intentas pedir una beca, un prestamo... te rechazan, tu perfil es igual al de tantos otros vecinos, amigos.. la única salida que te dejan es precisamente la que querías evitar, volverte como el resto para poder sobrevivir. Finalmente dichos algoritmos aciertan tanto por que cumplas los condicionantes, como por que por culpa de ellos, termines por cumplirlos.
Me desahogué.. :-D
Andoni Abedul
Esto no parece que lo hubiese dicho una persona que es desarrolladora de software. Los algoritmos se hacen para automatizar, no tiene nada mágico. Simplemente son una serie de sentencias, que se acoplan a lo que el dueño del producto quiere. ¿Vas a auditar algoritmos? Es decir que ¿vas a hurgar entre los procesos de negocio de la empresa para ver por qué a ti no te eligieron? En el caso de los profesores, ¿hubiese sido mejo enviar a 400 personas a juzgar a 400 profesores evaluando su desempeño según unas pautas (las mismas del algoritmo)? No lo creo, además que el humano está lleno de errores un algoritmo bien programado no. Solo hay una diferencia, los algoritmos no tienen empatia. Al menos esto es en algoritmos, la Inteligencia Artificial ya es otra cosa. El Machine Learning es como una caja negra que te da un resultado sabiendo únicamente por tanteo que la solución es la que tú deseas.
Usuario desactivado
La única salida para que contemos con una TI técnicamente segura y socialmente sana es que siempre se garanticen las cuatro libertades esenciales que el hippie de Stallman propuso hace más de 30 años.
Esa solución que mencionas y a la que llegó el académico de la U. de Maryland es casualmente similar a la libertad Uno del Software Libre, "La libertad de estudiar cómo funciona el programa".
Ahora la necesidad de esta libertad se ha echo evidente por la democratización y relevancia que la tecnología de la información ha adquirido en el hacer cotidiano del genero humano. Sin duda la legislación sobre esta apremia, pero si nos tomamos un segundo para apreciar el panorama completo resulta claramente insuficiente si no está acompañada de las otras tres libertades.
Al final puede sonar utópico. No es sorpresa, es que con el corporativismo y los lobbies de poder no puede sonar de otra manera. Y es por eso, que siendo realistas, nos toca a nosotros, a cada uno de los individuos de a píe poner el ejemplo y sentar precedente. Por un lado, si, exigiendo a nuestros incompetentes legisladores. Pero por otro lado y esta es la parte importante, es que todos, sacrificando temporalmente un poco de comodidad (apoyando y usando alternativas éticamente superiores), podamos a largo plazo lograr una sociedad un poquito más sana.
Porque sin duda con el uso e interés de la gente se mejorarán estas alternativas hasta alcanzar e incluso superar a sus contrapartes éticamente inferiores, hoy el sacrificio es temporal pero el producto de nuestra decisión será permanente.
juan1001
Creo que en vez de solicitar una auditoría, debería poder solicitarse una revisión a la decisión tomada por la máquina.
Si el algoritmo decidió que no merezco un crédito, que haya un tribunal o equipo especializado al que se pueda acudir en caso de que crea que la decisión es injusta. Es obvio que si sabes o crees que no cumples las condiciones ni te molestarás en solicitar la revisión.
Claro, esto solo nos ayudaría contra las injusticias; otro asunto es que los algoritmos dejen de controlar nuestras vidas.