En mayo, la Fundación Civio solicitó al Gobierno información completa sobre el software que decide quién tiene derecho a beneficiarse del bono social de electricidad (un descuento en la factura eléctrica dirigido a hogares vulnerables). La petición estaba motivada porque en la Fundación recibieron denuncias de personas que tenían derecho a las ayudas pero tal software se lo negaba. Como respuesta a la petición de información, el Gobierno mandó sólo parte de lo pedido, guardándose el código del software, pero fue suficiente para que desde la Fundación comprobaran que efectivamente el programa negaba la ayuda a quienes tenían derecho a recibirla.
Con la certeza de que había algo mal en el software que había mandado desarrollar el Gobierno, la Fundación insistió en ver el código. Esta vez contactaron con el Consejo de Transparencia y Buen Gobierno, quien denegó la petición aludiendo a que el código estaba protegido por la propiedad intelectual. La respuesta de la Fundación Civio fue presentar un recurso contencioso-administrativo para obligar al Gobierno a publicar el código del software. Javier de la Cueva, abogado y patrono de Civio, preparó y presentó el recurso.
“Reivindicamos que cuando el software entra a regular derechos y deberes de los ciudadanos, es decir, tiene funciones normativas como si fuera una ley, tiene que tener los mismos requisitos de la ley”, explica De la Cueva. "Y estos requisitos son: 1) que el acceso al código sea público, 2) que la propiedad del código sea dominio público, como es la ley, y 3) la escritura del código tiene que estar a cargo de un grupo especializado de gente que se encargue de la escritura de este código porque haya una ley que así lo estipule, como ocurre con la escritura de las leyes."
El caso denunciado por la Fundación Civio hace referencia a un trámite ciudadanía-administración que está automatizado. Ante la pregunta ¿Tengo derecho a obtener el bono social eléctrico?, una máquina selecciona datos de aquí y de allá, los combina y responde en segundos sí o no. Es un procedimiento frío, rápido y no deja margen para una reclamación temprana. Un ejemplo de lo que nos espera pasado mañana: la automatización de la burocracia y el riesgo derivado de que falte transparencia en la toma de decisiones.
Funcionarios que trabajan 24/7 y no admiten preguntas
La automatización de procesos relacionados con la administración pública es un peldaño más en la escalera hacia la dataficación: la conversión en datos de la vida cotidiana. Para Sara Suárez, investigadora de la Universidad Pompeu Fabra sobre el impacto social y político de la explotación de datos masivos, “la dataficación es consecuencia de la digitalización de los servicios considerados básicos en la vida moderna, como la sanidad o el transporte urbano. El historial médico o las tarjetas de transporte integradas convierten las acciones, las conductas o las preferencias de las personas en datos. Es una tendencia en alza desde los 90, cuando se acuñó el término big data o datos masivos para referirse a datos que sobrepasaban la capacidad de procesamiento de ordenadores normales. Hoy ya podemos gestionarlos”.
Los beneficios de contar con un software que trabaja sin parar revisando tablas en vez de con un equipo de funcionarios humanos son muy evidentes. No hay forma de que haya un duelo reñido en categorías como acciones por segundo, grado de atención o resistencia al cansancio. Eso sí, para que el programa 24/7 funcione tiene que haber sido diseñado sin un solo fallo, y lo mismo ocurre con la introducción y categorización de todo cuanto contengan las bases de datos. No hay margen de error. Si antaño el astigmatismo podía provocar que un funcionario se saltara una fila en una base de datos y esto deviniera en un problema para una familia, hoy este tipo de inconvenientes puede afectar a miles de personas, y pueden pasar años hasta que se enteren de ello.
Cada vez más trámites relacionados con la admnistración son resueltos por software automatizado. Fuente: Ministerio Política Territorial y Función Pública (aunque la foto no corresponde a ninguna oficina pública española)
AlgorithmWatch, una organización alemana sin ánimo de lucro que investiga el uso de algoritmos en administraciones públicas y empresas, expone en su web varios casos donde la automatización de la burocracia supone más problemas que ventajas. Como en Polonia, donde usaban un software para distribuir asesoría y ayudas económicas a desempleados conforme a un sistema de puntuación que calificaba la probabilidad de estos desempleados para conseguir empleo. A más probabilidad de conseguir trabajo, menos ayuda. Problemas de transparencia y libre circulación de datos privados aparte, este software resultó ser la versión algorítmica de la sociedad estamental del medievo: si te mandaba al grupo de “tengo difícil conseguir trabajo”, podías olvidarte de volver a trabajar en la vida. Descubierto el problema, el algoritmo dejará de usarse a finales de este año, cinco después de que circularan las primeras alertas.
AlgorithmWatch expone otros casos, como el de las ayudas que dejaron de percibir 70.000 desempleados suecos o el de un finlandés que no podía acceder a un préstamo y nadie sabía por qué. Ambos casos, como el resto que se describen en la página, tienen el mismo origen: algoritmos que fallan en algún punto. En total son seis casos documentados. ¿Hay alguno español? Desde agosto, sí. El caso que nos ocupa.
¿Hay que publicar el código?
Ante la petición de la Fundación Civio para publicar el código del programa de marras, el Consejo de Transparencia y Buen Gobierno respondió que no podía facilitarlo debido a que lo protegía la propiedad intelectual. “Me parece extraña la respuesta del Estado”, explica Ulises Cortés, profesor e investigador sobre inteligencia artificial (IA) en la Universidad Politécnica de Cataluña y del Barcelona Supercomputing Center. “Que tú no tengas derecho a mirar el código aludiendo a propiedad intelectual es extraño cuando ese programa ha sido pagado con dinero público”.
“Que tú no tengas derecho a mirar el código aludiendo a propiedad intelectual es extraño cuando ese programa ha sido pagado con dinero público”
Para el investigador en IA, todo programa pagado con dinero público tendría que estar expuesto para que alguien experto pudiera dictaminar cómo fue escrito el código. “[Este experto] firmaría todas las condiciones de no disclosure para no hacer público lo que ha visto, pero sí debería poder verlo, verificarlo y dictaminar si es correcto y justo”, explica Cortés.
Según De la Cueva, el acceso al código fuente es “primordial” para averiguar por qué ese software está negando el acceso al bono social eléctrico a personas que tienen derecho a percibirlo. “Una vez podamos acceder al código, sabremos qué falla. Puede deberse al propio algoritmo, que haya una variable mal definida, que las fórmulas matemáticas no sean las correctas o que no se estén teniendo en cuenta determinadas funciones. O puede que el problema sea una mala decisión en la estructura de los datos o una columna de la base de datos que se está ignorando. O que la causa esté en cómo se extraen estos datos… No sabemos nada y queremos saber cómo funciona el programa”.
“Igual que pides que el Gobierno publique cuentas y sueldos, estaría bien que publicase los algoritmos, sobre todo en temas así”, cuenta Sergio Rodil, data scientist en Altran. “Y no sólo publicar el algoritmo. Con eso podrías ver que no se ha hecho una chapuza y que el algoritmo tiene sentido. Pero además habría que publicar un set de datos anonimizados para testear que efectivamente funciona”.
Quizá conocer el código y los datos no sea suficiente
Para Sara Suárez, publicar las tripas de los programas es algo “necesario, pero no suficiente. La ciudadanía no puede tener la obligación de entender la información más técnica de los procesos a los que se someten sus datos, por eso creo que publicar el código en sí no sería una solución. Que para poder detectar que no se cumple un derecho, y poder quejarse, haya que tener un conocimiento muy sofisticado me parece una comprensión tecnificada y muy elitista de lo que es un derecho. Y esto puede conducirnos a una indefensión en procesos básicos”.
"La ciudadanía no puede tener la obligación de entender la información más técnica de los procesos a los que se someten sus datos"
“Si cada vez más la sociedad se va a regir por este tipo de procesos, tiene que haber más debate público e información de cara a la sociedad. Que el desarrollo tecnológico no sea algo donde la gente no puede entrar porque no tiene un conocimiento técnico”, explica Suárez. “Al final, las consecuencias de la dataficación nos afectan a todos, así que deberíamos poder participar hayamos estudiado ciencias duras o no”.
De momento, la publicación del código del software del bono social eléctrico está en el aire. El recurso contencioso-administrativo contra la resolución del Consejo de Transparencia y Buen Gobierno está presentado y sólo queda esperar. Si la sentencia del tribunal es favorable, el código saldrá a la luz. Si no lo es, la Fundación Civio interpondrá un recurso de casación ante el Tribunal Supremo. Si hay una nueva negativa, el siguiente paso será ir al Tribunal Europeo de Derechos Humanos. “Los ciudadanos tenemos el derecho a conocer cómo funciona todo programa que tenga la administración para gestionar nuestros derechos”, subraya el abogado Javier de la Cueva.
Imagen | Portada
Ver 36 comentarios
36 comentarios
dabelo
Ahí va el algortimo.
var subjectName=[pon el nombre del solicitante];
var allowedNames= {"Mohamed","Abdul","Hassam","Omar","Ali"}
if(allowedNames.Any(i=>i.ToLower().Contains(subjectName.ToLower())) return true;
Usuario desactivado
Desde lo poco que representa mi persona, MI MÁS SINCERA ENHORABUENA a la fundación Civio y a Javier Cueva González-Cotera pues, según mi opinión, los fundamentos de derecho de carácter jurídico material son buenos.
Mira, para algo de tarde en tarde sirven las fundaciones (figura que, por lo general, me desagrada).
Gracias por la acción y mi sincero reconocimiento.
El texto de la demanda de recurso: https://civio.app.box.com/s/l23h4100guo9ol2f65a7kbcl1uglm30m
Un algoritmo con financiación pública secreto decidiendo sobre el bien y el mal... muy mal asunto.
Suerte.
JuanAR
Aunque estoy de acuerdo con el software libre en la administración aquí se resume en algo más sencillo, si cumples lo requisitos y el programa dice que no es que el programa está mal y hay que arreglarlo.
miguel.amandi
para publicar los criterios que se emplean no se necesita el código fuente. Ridiculeces de los cuñados de turno.
sr.whiteskull
A ver, que un programa cuando se finaliza se testea por un equipo de testing, y por supuesto, escapan errores porque somos putos humanos. De ahí que sea normal que puedan haber errores en las aplicaciones de la administración y normal que los ciudadanos puedan o debería poder informar de las anomalías que se presenten, pero de ahí a pedir el código... No tiene ningún sentido.
¿Cómo proceder a la administración cuando cumpliendo los requisitos la aplicación te rechaza la ayuda? Pues con la ley en la mano te personas en la oficina física y presentas las pruebas ¿Y si no te hacen caso? Denuncias al juzgado de lo civil como cualquier hijo de vecino.
Geardaron
No creo que sea una manipulación/conspiración orquestada o siquiera premeditada, pero si creo que hay unas cuantas dosis de lo siguiente:
1) Criterios mal definidos que llevan a una mala interpretación.
2) Un concurso publico en el que se coge al mejor postulante (Siempre el más barato, ejemplo las ultimas elecciones la empresa responsable del recuento)
3) Intereses políticos para asegurarse de que se cumple con las corrientes ideológicas del que mande en ese momento.
4) Modificaciones por criterios subjetivos de los funcionarios que llevaban la licitación sin demasiado criterio y con 0 responsabilidad sobre las liadas.
5) La empresa que gano que le da a sus desarrolladores unos plazos ridículos, una formación insuficiente y una descripción en el mejor de los casos ambigua si no contradictoria consigo misma.
y podríamos seguir... pero la idea creo que se entiende
Yo no creo que sea culpa del software por ser software, es que si hay que gastar en comités , consejos, asesores, amigos, primos y conocidos quedan poco recursos para lo que de verdad importa en el que unos pocos funcionarios/empleados "infrapreparados" con menos recursos de los que necesitarían y unos requisitos imposibles intentan hacerlo lo mejor humanamente posible (PD: Cuando ni esto ultimo pasa o sale mal, al final tienes escándalos por que, ya si, canta MUCHO . Ejemplo que recuerdo ahora, la web del congreso, o el sistema electronico judicial... pero vamos ejemplos para aburrir)
Que es lo que pedimos la gente frente a esta cutrez pues que se arregle, entonces presionamos a los politicos, pero pronto nos damos cuenta de que presionar a un politico si no eres otro politicos o de una temática de moda en la corriente de los medios de comunicación de ese momento, es improbable que se consiga nada, entonces cambiamos y atacamos al eslabon más debil que son los infelices de funcionarios y empleados (probablemente explotados) de la administración/empresa concesionaria y dedicando mas recursos a comites, consejos y asesores que se ocupen de revisar que ese código abierto y super (Elegir adjetivo positivo) funcione y aunque parezca mentira estos comités y consejos no funcionan !!
Lo que hace que la cutrez no solo se perpetue un poco más si no que extienda si cabe más y presionando una vez más al eslabón más débil para que sean el foco de virtud que ninguno de sus jefes será nunca.
y la gente simplemente nos presentan un nuevo escandalo/problema y pasamos a la siguiente cutrez y vuelta a empezar y como al final nuestra capacidad de atención es limitada, se nos pasa, la clave es que al votar el escandalo que este vivo sea una de dos o de los otros partidos o una cosa tan superflua que nos de igual.
Hay una variante de esta jugada y es usar el escudo deflector de: fue un ente externo incontrolable (Tipo es que el software es maligno y discrimina o a una fuerza de la naturaleza) o mucho más común es un complot de los que no mandan y que lo han saboteado...
Solo como nota final aunque puede haber influencias no creo que sea una maniobra para favorecer a un grupo étnico frente a otro, si no simplemente torpeza humana intentando dar salida a cosas imposibles.
Por que no me tachéis de agorero y que solo digo problemas, creo que una solución a estos problemas como a muchos otros (de este tipo) es hacer a la gente responsable de sus decisiones a TODOS los niveles(si para esto hay que subirles el sueldo y quitar comites, me parecería mas que razonable). Aunque es dificil, cuando dejamos a nuestros gobernantes o "persona que ha llegado arriba de su partido, raramente por su capacidad" (No me atrevería a decir lideres, lo siento) no se les pide NINGUNA responsabilidad por lo que dicen y muchas veces hacen.
PD: La palabra cutrez puede ser intercambiable por corrupción, pero quiero evitar usarla por que es una palabra que ya no es neutra en España, y quería ser neutro pues considero que es algo que hacen todos por igual (endémico) y es algo independiente de los principios/ideales politicos.
pableras
Sigue siendo una lastima que pongáis el foco en un titular sensacionalista, que, además, no concuerda ni con el desarrollo del artículo ni con el contenido de las fuentes.
"Discriminación"
Lo que vende, claro.
La realidad luego es muy distinta. Algunos de los profesionales citados toca el tema pasando un poco de puntillas y de una manera muy elegante. Lo más probable es que hayan metido la pata en alguna línea del código y ya está. ¿Alguien de los aquí presentes ha hecho alguna práctica de programación en la universidad? Esas veces que tienes el programa casi listo pero que sabes que hay veces que no te da los resultados esperados y no sabes dónde está el error. Una comita porculera o que en vez de poner un 1 has puesto un 0. Esa chorrada que buscas y no encuentras. Que te dejas los ojos (y las horas) y no aparece por ningún lado. Pues aquí lo han subido a producción. Tienen respaldo: siempre lo puedes presentar en papel, con todos los documentos solicitados.
En fin, que más que una cuestión moral o ética, o imaginar una mano negra detrás de todo esto que quiere negar por sistema la concesión de este bono social, hay que plantearse seriamente que se trata de un error de programación. Y aquí está el detalle: un error. Por eso no quieren liberar el código fuente, porque sería admitir que han metido la pata y no han hecho nada por solucionarlo.
diox76
¡Qué gran tontería! Como si el Pueblo pudiera decidir sobre cuestiones legítimas del Sistema. xD
diox76
“Que tú no tengas derecho a mirar el código aludiendo a propiedad intelectual es extraño cuando ese programa ha sido pagado con dinero público”
El dinero no es público.
A estas alturas y creer en RR. MM. xD
diox76
Está claro que, ante una reclamación, debería prevalecer lo que está escrito en el BOE ante lo que saque el programa.
Usuario desactivado
Los algoritmos siempre van a discriminar. Es su función, decidir como se ordenan las ayudas o subvenciones en función de una serie de parámetros.
Y como el dinero para ayudas es finito siempre se quedará gente fuera o las ayudas serán menores a lo estipulado o las ayudas llegarán tarde hasta que se amplíe la asignación presupuestaria.
Al final tener una ayuda o subvención depende de cuantas personas se presentan y de la posición relativa en la valoración respecto al resto de personas que optan.
De todas formas, si la gente pide el código abierto, algo razonable. Yo quiero que también sea público los datos fiscales, de residencia, etc de los que solicitan la ayuda. Porque hay mucha gente que trabaja en negro, se empadrona de forma ficticia, etc.
Usuario desactivado
Excelente iniciativa. Que el codigo fuente sea de dominio publico porque se pago con el dinero de todos. Mas posibilidades en manos de los ciudadanos y menos posibilidades de errores o intereses opacos.
dom_zek
Si el programa fue desarrollado expresamente para el gobierno y ese desarrollo lo pago el gobierno, considero que es valido que cualquier ciudadano que paga sus impuestos pueda solicitar ese código fuente, ya que fue pagado con el dinero de sus impuestos.
Aun y mas cuando hay evidencia de un mal funcionamiento de dicho programa y ese mal funcionamiento ya afecta al ciudadano que paga sus impuestos.
Seria el colmo que con el dinero que tu diste de impuestos desarrollan un programa que viene a decidir que te veras afectado.
saludos
xiaolu
Software libre y subido a un repositorio oficial, todo escrito y mantenido con dinero público.
pillabichos
Sin código no hay transparencia.
acerswap
Esto depende mucho de si el algoritmo lo ha diseñado una persona o una IA. Una persona (al menos si no quiere que la crucifiquen si se llega a saber) no programa que si una persona es de una raza se le denieguen o se le garanticen determinadas ayudas. En cambio, una IA es muy sensible a esa clase de prejuicios debido a que se basa en estadisticas y estas pueden basarse en datos parciales, mal escogidos o mal relacionados.