La corriente que pide el código fuente de los programas que deciden las ayudas al ciudadano: que el algoritmo no discrimine

En mayo, la Fundación Civio solicitó al Gobierno información completa sobre el software que decide quién tiene derecho a beneficiarse del bono social de electricidad (un descuento en la factura eléctrica dirigido a hogares vulnerables). La petición estaba motivada porque en la Fundación recibieron denuncias de personas que tenían derecho a las ayudas pero tal software se lo negaba. Como respuesta a la petición de información, el Gobierno mandó sólo parte de lo pedido, guardándose el código del software, pero fue suficiente para que desde la Fundación comprobaran que efectivamente el programa negaba la ayuda a quienes tenían derecho a recibirla.

Con la certeza de que había algo mal en el software que había mandado desarrollar el Gobierno, la Fundación insistió en ver el código. Esta vez contactaron con el Consejo de Transparencia y Buen Gobierno, quien denegó la petición aludiendo a que el código estaba protegido por la propiedad intelectual. La respuesta de la Fundación Civio fue presentar un recurso contencioso-administrativo para obligar al Gobierno a publicar el código del software. Javier de la Cueva, abogado y patrono de Civio, preparó y presentó el recurso.

“Reivindicamos que cuando el software entra a regular derechos y deberes de los ciudadanos, es decir, tiene funciones normativas como si fuera una ley, tiene que tener los mismos requisitos de la ley”, explica De la Cueva. "Y estos requisitos son: 1) que el acceso al código sea público, 2) que la propiedad del código sea dominio público, como es la ley, y 3) la escritura del código tiene que estar a cargo de un grupo especializado de gente que se encargue de la escritura de este código porque haya una ley que así lo estipule, como ocurre con la escritura de las leyes."

El caso denunciado por la Fundación Civio hace referencia a un trámite ciudadanía-administración que está automatizado. Ante la pregunta ¿Tengo derecho a obtener el bono social eléctrico?, una máquina selecciona datos de aquí y de allá, los combina y responde en segundos sí o no. Es un procedimiento frío, rápido y no deja margen para una reclamación temprana. Un ejemplo de lo que nos espera pasado mañana: la automatización de la burocracia y el riesgo derivado de que falte transparencia en la toma de decisiones.

Funcionarios que trabajan 24/7 y no admiten preguntas

La automatización de procesos relacionados con la administración pública es un peldaño más en la escalera hacia la dataficación: la conversión en datos de la vida cotidiana. Para Sara Suárez, investigadora de la Universidad Pompeu Fabra sobre el impacto social y político de la explotación de datos masivos, “la dataficación es consecuencia de la digitalización de los servicios considerados básicos en la vida moderna, como la sanidad o el transporte urbano. El historial médico o las tarjetas de transporte integradas convierten las acciones, las conductas o las preferencias de las personas en datos. Es una tendencia en alza desde los 90, cuando se acuñó el término big data o datos masivos para referirse a datos que sobrepasaban la capacidad de procesamiento de ordenadores normales. Hoy ya podemos gestionarlos”.

Los beneficios de contar con un software que trabaja sin parar revisando tablas en vez de con un equipo de funcionarios humanos son muy evidentes. No hay forma de que haya un duelo reñido en categorías como acciones por segundo, grado de atención o resistencia al cansancio. Eso sí, para que el programa 24/7 funcione tiene que haber sido diseñado sin un solo fallo, y lo mismo ocurre con la introducción y categorización de todo cuanto contengan las bases de datos. No hay margen de error. Si antaño el astigmatismo podía provocar que un funcionario se saltara una fila en una base de datos y esto deviniera en un problema para una familia, hoy este tipo de inconvenientes puede afectar a miles de personas, y pueden pasar años hasta que se enteren de ello.

AlgorithmWatch, una organización alemana sin ánimo de lucro que investiga el uso de algoritmos en administraciones públicas y empresas, expone en su web varios casos donde la automatización de la burocracia supone más problemas que ventajas. Como en Polonia, donde usaban un software para distribuir asesoría y ayudas económicas a desempleados conforme a un sistema de puntuación que calificaba la probabilidad de estos desempleados para conseguir empleo. A más probabilidad de conseguir trabajo, menos ayuda. Problemas de transparencia y libre circulación de datos privados aparte, este software resultó ser la versión algorítmica de la sociedad estamental del medievo: si te mandaba al grupo de “tengo difícil conseguir trabajo”, podías olvidarte de volver a trabajar en la vida. Descubierto el problema, el algoritmo dejará de usarse a finales de este año, cinco después de que circularan las primeras alertas.

AlgorithmWatch expone otros casos, como el de las ayudas que dejaron de percibir 70.000 desempleados suecos o el de un finlandés que no podía acceder a un préstamo y nadie sabía por qué. Ambos casos, como el resto que se describen en la página, tienen el mismo origen: algoritmos que fallan en algún punto. En total son seis casos documentados. ¿Hay alguno español? Desde agosto, sí. El caso que nos ocupa.

¿Hay que publicar el código?

Ante la petición de la Fundación Civio para publicar el código del programa de marras, el Consejo de Transparencia y Buen Gobierno respondió que no podía facilitarlo debido a que lo protegía la propiedad intelectual. “Me parece extraña la respuesta del Estado”, explica Ulises Cortés, profesor e investigador sobre inteligencia artificial (IA) en la Universidad Politécnica de Cataluña y del Barcelona Supercomputing Center. “Que tú no tengas derecho a mirar el código aludiendo a propiedad intelectual es extraño cuando ese programa ha sido pagado con dinero público”.

Para el investigador en IA, todo programa pagado con dinero público tendría que estar expuesto para que alguien experto pudiera dictaminar cómo fue escrito el código. “[Este experto] firmaría todas las condiciones de no disclosure para no hacer público lo que ha visto, pero sí debería poder verlo, verificarlo y dictaminar si es correcto y justo”, explica Cortés.

Según De la Cueva, el acceso al código fuente es “primordial” para averiguar por qué ese software está negando el acceso al bono social eléctrico a personas que tienen derecho a percibirlo. “Una vez podamos acceder al código, sabremos qué falla. Puede deberse al propio algoritmo, que haya una variable mal definida, que las fórmulas matemáticas no sean las correctas o que no se estén teniendo en cuenta determinadas funciones. O puede que el problema sea una mala decisión en la estructura de los datos o una columna de la base de datos que se está ignorando. O que la causa esté en cómo se extraen estos datos… No sabemos nada y queremos saber cómo funciona el programa”.

“Igual que pides que el Gobierno publique cuentas y sueldos, estaría bien que publicase los algoritmos, sobre todo en temas así”, cuenta Sergio Rodil, data scientist en Altran. “Y no sólo publicar el algoritmo. Con eso podrías ver que no se ha hecho una chapuza y que el algoritmo tiene sentido. Pero además habría que publicar un set de datos anonimizados para testear que efectivamente funciona”.

Quizá conocer el código y los datos no sea suficiente

Para Sara Suárez, publicar las tripas de los programas es algo “necesario, pero no suficiente. La ciudadanía no puede tener la obligación de entender la información más técnica de los procesos a los que se someten sus datos, por eso creo que publicar el código en sí no sería una solución. Que para poder detectar que no se cumple un derecho, y poder quejarse, haya que tener un conocimiento muy sofisticado me parece una comprensión tecnificada y muy elitista de lo que es un derecho. Y esto puede conducirnos a una indefensión en procesos básicos”.

“Si cada vez más la sociedad se va a regir por este tipo de procesos, tiene que haber más debate público e información de cara a la sociedad. Que el desarrollo tecnológico no sea algo donde la gente no puede entrar porque no tiene un conocimiento técnico”, explica Suárez. “Al final, las consecuencias de la dataficación nos afectan a todos, así que deberíamos poder participar hayamos estudiado ciencias duras o no”.

De momento, la publicación del código del software del bono social eléctrico está en el aire. El recurso contencioso-administrativo contra la resolución del Consejo de Transparencia y Buen Gobierno está presentado y sólo queda esperar. Si la sentencia del tribunal es favorable, el código saldrá a la luz. Si no lo es, la Fundación Civio interpondrá un recurso de casación ante el Tribunal Supremo. Si hay una nueva negativa, el siguiente paso será ir al Tribunal Europeo de Derechos Humanos. “Los ciudadanos tenemos el derecho a conocer cómo funciona todo programa que tenga la administración para gestionar nuestros derechos”, subraya el abogado Javier de la Cueva.

Imagen | Portada