En Wisconsin, los jueces tienen un polémico "ayudante" que les aconseja a la hora de elegir cuánto dura la pena de prisión que imponen a los condenados por un delito. Y ese "ayudante" no es humano: se trata de Compas, un misterioso algoritmo que utiliza diversas variables sobre el pasado de cada reo para estimar, entre otras cosas, las posibilidades que tiene éste de reincidir en el futuro.
Aunque Compas ya ha protagonizado alguna polémica en el pasado, el diario New York Times se hace eco ahora de una reciente: Eric L. Loomis, un delincuente habitual, fue condenado a seis años de cárcel. ¿Uno de los motivos que dio el juez? Que el algoritmo había marcado al condenado como "alto riesgo". La apelación de Loomis se centra ahora en un aspecto clave: el código de Compas es propietario, nadie ajeno a sus propietarios sabe cómo funciona y además le acusa de ser parcial.
¿Cómo funciona exactamente Compas? Se trata de un sistema que pertenece a la compañía Northpointe Inc. y calcula la probabilidad de que una persona vaya a cometer otro crimen en base al historial de la misma y a una encuesta que realizan a los condenados, entre otros parámetros. Con estos datos, puntúa de 1 a 10 al acusado en diversas categorías, como riesgo de reincidir o riesgo de reincidir con violencia. A mayor puntuación, mayor riesgo.
Precisamente esos "otros parámetros" que mencionamos han causado polémica en el pasado, y es que Compas utiliza, por ejemplo, el género de las personas o su edad. En las encuestas también preguntan por su entorno o la pobreza de los barrios donde viven a la hora de estimar el riesgo. Todo esto, ¿introduce sesgo a la hora de que el programa emita su valoración? ProPublica publicaba en marzo de este año un extenso análisis realizado en un condado de Florida. Una de sus conclusiones fue que las personas de raza negra tenían el doble de posibilidades que las personas blancas de ser clasificadas por error como "alto riesgo".
Falta de transparencia
Desde Northpointe Inc. aseguran que su algoritmo se basa en su investigación y, aunque reconocen que sí se valora de forma distinta a las mujeres o a los juveniles, no ofrecen más detalles sobre este proceso interno. Su código es propietario y no quieren lanzarlo al público ni que se audite porque "es una pieza fundamental" de su negocio. Para ellos la clave es estudiar los resultados, no el algoritmo.
El abogado de Loomis está utilizando esto mismo en su apelación: asegura que el algoritmo "está lleno de agujeros", que utiliza diferentes escalas en función del sexo y que además "no cumple la obligación de que la sentencia sea individualizada". Por ello, exige que le dejen revisar el algoritmo y preparar una defensa en base a él.
Aunque este tipo de algoritmos se llevan utilizando durante años y en la actualidad están presentes en diversos estados de EEUU, el debate no ha hecho más que comenzar: si se usan para cuestiones de gobierno o de la justicia, ¿debe su código ser auditado o nos fiamos de lo que diga su fabricante hasta tal punto de fijar condenas considerándolo como factor?
Imagen | Matt B
En Xataka | ¿Cómo funciona Predpol, el software que dice predecir dónde van a suceder crímenes?
Ver todos los comentarios en https://www.xataka.com
VER 9 Comentarios