«Sólo en América, la conducción automática podría salvar 300.000 vidas cada década». Así abría The Atlantic, hace un año, un artículo donde ponía de manifiesto ese adagio popular: las máquinas no se cansan, no cometen errores. Y a esos 300.000 habría que sumar casi 10 millones en todo el planeta.
Lo que esas cifras no nos cuentan es cómo se enfrentaría una Inteligencia Artificial a un conflicto moral.
Legislar sobre algoritmos de aprendizaje automático es imposible. «No abrimos el cerebro de la gente para analizar sus neuronas y ver si son éticas, lo que hacemos es observar su comportamiento. Y tenemos un conjunto de principios definido a través del cual juzgamos ese comportamiento», apostilla Iyad Rahwan, profesor asociado en el MIT Media Lab, en el vídeo que viene a continuación.
El coche autónomo como chivo expiatorio
Las máquinas nos recuerdan nuestras imperfecciones. Les regañamos como a un perro malo. Si no responden exactamente como queremos las hacemos chatarra y a otra cosa. Es más fácil encontrar culpables que asumir las propias. ¿Qué va a decir una máquina, se defenderá ante un tribunal?
Las máquinas nos recuerdan nuestras imperfecciones
La mayoría de entrevistados por el citado Iyad Rahwan coincidían en que necesitamos cierta transparencia, una legislación ante este particular. La propuesta popular es «mientras se muestre el código fuente habrá transparencia». En cambio, un 60% de los encuestados no desean coches autónomos con regulación estatal. ¿Razón? La posibilidad de que el conductor asuma más responsabilidad que la máquina.
Mientras Tesla insiste en que, por favor, recordemos que su Autopilot no va de conducción automática, sino de ayudar al conductor analógico, colaborar para minimizar posibles errores, los usuarios ponen el grito en el cielo pidiendo un vehículo completamente independiente.

Ya tendremos ocasión de quejarnos cuando vengan los problemas.
Mercedes ya lo tiene claro. En una entrevista a Christoph von Hugo, Senior Manager Active Safety para Mercedes-Benz, sus coches completamente autónomos —de nivel 4 y 5, aún en estado de gestación— elegirían a favor del pasajero sobre el peatón, sea éste el que sea. Es una solución ciega, porque nuestro análisis moral siempre se apoya en éste.
Mientras tanto, la empresa estadounidense ha tenido que imponer baneos temporales a usuarios irresponsables que, simplemente, dejan todo el trabajo a un sistema que aún tiene mucho que aprender. Y accidentes como el de Joshua Brown al volante de un Tesla Model S nos recuerdan que, aunque la culpa no sea explícitamente nuestra, sí está en nuestras manos la posibilidad de corregir una negligencia.
A nuestra imagen y semejanza

¿debemos dejar que una IA cometa errores para aprender de ellos?
Y de eso va todo, de aprender. La pregunta es: ¿debemos dejar que una IA cometa errores para aprender de ellos? Las RNA (Redes Neuronales Artificiales) nos han llevado a una comprensión más profunda del aprendizaje de las Inteligencias Artificiales: nadie nace sabiendo todo, sino que aprende de cada fallo. Pero nunca dejamos cometer errores a nuestras máquinas.
«Es difícil identificar cuáles son los principios éticos que deberían gobernar el comportamiento de un coche autónomo», dice Iyad Rahwan. ¿Por qué es difícil? Podríamos remontarnos a Sócrates para hablar de deontología (conocimiento de lo debido). Y, aún así, no llegaríamos a un consenso pleno. Cada persona posee una perspectiva distinta a la misma problemática.
Para concretar, pensemos en el viejo Dilema del Tranvía: el vehículo ha perdido el control y en la vía hay cinco personas atadas. Podemos desviar el tranvía accionando un cambio de vía. Por desgracia, hay otra persona atada a ésta. ¿Debería accionarse? De nuestra inacción morirán cinco personas. En cambio, esa otra muerte será consecuencia directa de nuestro comportamiento. ¿Un sacrificio menor? Consecuencialismo, en todo caso.
Claro, matar es siempre malo. No se trata de otorgar a matar un valor de 1 y a no hacerlo un valor de 0. Estamos hablando de las implicaciones morales de “minimizar el riesgo”, algo que se lleva haciendo siglos entre conflictos bélicos —sacrificar a unas tropas para salvar a toda una nación— pero nunca había estado en manos de un robot.
Una moral de silicio

Iyad Rahwan presentó un pequeño juguete ético, Moral Machine, para tratar estas cuestiones: ¿cómo debería reaccionar un coche autónomo en una situación de daño inevitable? Pero los resultados no fueron especialmente cómodos. «El problema viene cuando les preguntamos si comprarían ese coche. Su reacción fue: nunca compraría un coche que me pueda hacer daño a mí bajo ninguna circunstancia».
Parece que existe cierto consenso en que es “mejor” atropellar a una pobre jubilada frente a una enfermera de 30 años. Y que sería “menos grave” arrollar a cinco delincuentes antes que a cinco niños preescolares. Pero el conductor, en todo caso, no arriesgaría su propia vida en pos de “lo que pueda suceder”.
Si somos así de egoístas, ¿cómo vamos a educar a una máquina en la empatía?
Digámoslo claro: si somos así de egoístas, ¿cómo vamos a educar a una máquina en la empatía? No obstante, el problema que señala Iyad Rahwan es otro: «aunque veas el código, no puedes predecir qué hará. Lo que haga dependerá de lo que haya aprendido y de la información que haya utilizado para aprender. Es algo que sólo se revelará a través del comportamiento».
Pero no nos apresuremos. Como en todo, existen distintos niveles de egoísmo: ¿Debemos enseñar a nuestras máquinas a ser “desconsideradas”, lo suficiente egoístas para evitar “males mayores”?
Un gran poder conlleva una gran responsabilidad

El 90% de los accidentes suceden por errores humanos. Sólo un 10% corresponde a errores técnicos
Aún con todo, las matemáticas nos dicen que debemos enseñar a las máquinas. Cuanto antes. El 90% de los accidentes suceden por errores humanos. También sabemos que escribir un mensaje de móvil es tres veces más peligroso que conducir ebrio. Y que sólo el 10% restante de estos accidentes suceden a causa de fallas técnicas o problemas climáticos.
En julio de 2015 The Guardian publicaba la siguiente noticia: un robot asesinaba a un montador de vehículos en una planta de Volkswagen. ¿Qué herramientas legales hay en este particular? ¿A quién demandar? ¿Se trata de un error humano? ¿Qué porcentaje de culpa corresponde a la empresa, el fabricante de la máquina o al robot mismo?
Como señala el propio Rahwan, «al dejar cada vez más decisiones en manos de máquinas, al mismo tiempo debemos desarrollar un contrato social entre la gente y los algoritmos que toman esas decisiones importantes para supervisar su comportamiento».
Un selecto grupo de intelectuales, entre los que se encuentran Stephen Hawking, Steve Wozniak, Noam Chomsky o el propio Elon Musk, director de Tesla, sacaron adelante un manifiesto donde alertaban de los peligros de que un robot, sea bajo la situación que sea, tenga el poder de elegir matar.
El mayor desafío no es tecnológico, sino social

Los robots como armas comprenden un debate moral aún más incómodo: ¿a quién culpamos si, bueno, si ellos mismos han tomado la decisión basándose en una larga cadena de códigos codificados? Supongamos que los robots han perfeccionado su comportamiento hasta ese ratio de error cercano al cero absoluto: si nosotros, como sociedad marcamos una serie de líneas rojas y principios éticos que bloqueen su aprendizaje, ¿cómo veremos progresar a estas Inteligencias Artificiales?
No todas las sociedades respondemos igual a los mismos test éticos
Pongamos como ejemplo un adolescente al que, según madura, vamos ampliando su horizonte de acción y otorgándole más libertad.
Vamos más allá: ¿deben todos los robots pensar igual, o debería variar en base a sus “responsabilidades”? Un grupo de psicólogos publicó un estudio donde demostró que, aunque todos poseemos una serie de principios éticos y una psicología humana básica, cada cultura responde de una manera específica a un tipo de estímulo. O lo que es lo mismo: no todas las sociedades respondemos igual a los mismos test éticos.

¿Cómo poner un precio “moral” a una vida? ¿Es la máquina una sociópata por elegir a quién mataría en un caso de pérdida segura? ¿Podemos acaso hacerla responsable cuando simplemente se ha limitado a aprender de nosotros? Sí, está claro: una vida no es un peón, no podemos decidir como el método minimax, no hay sacrificio justo. Pero si, tal y como predicen las estimaciones, para 2020 contemos con 10 millones de coches autónomos, quizá deberíamos centrarnos en marcar los márgenes de esas consecuencias antes de andar buscando culpables.
«es una zona muy difícil para la Ley porque la idea de que una máquina podría ser responsable de algo no es un concepto fácil en absoluto» — Chris Elliott
No parece fácil, en cualquier caso. Una singularidad que no nos va a abandonar así como así. Chris Elliott, ingeniero de sistemas y abogado perteneciente al Imperial College of London, insistía hace algunos años en que «es una zona muy difícil para la Ley porque la idea de que una máquina podría ser responsable de algo no es un concepto fácil en absoluto».
Pero si no respondemos a estas cuestiones «nos negamos a nosotros mismos el beneficio de usar estas cosas», proseguía Elliott. El ICL presentó para este particular un documento de debate donde concluía que, por delante de la ley, va la ética. Algo con lo que coincidía con los postulados de Isaac Asimov en sus primeros relatos de 1950… y con Platón hace casi 2400 años.
Ver 17 comentarios
17 comentarios
polepepi
Viendo las infinitas quejas que hay en la red yo creo que mas necesario enseñarle moral a Vodafone que a los coches autónomos.
A ver si aprendeis,leñe!!!
rebootedc
[...] nunca compraría un coche que me pueda hacer daño a mí bajo ninguna circunstancia
En efecto. Si una señora embarazada y su hijo se han saltado un semáforo y la alternativa a atropellarlos es estamparme yo y morir, que se jodan ellos. Así de claro. Y que nadie me venga con demagogias porque TODOS pensamos lo mismo y lo contrario iría contra natura.
Si los seres vivos tuviéramos escritas reglas como las de Asimov, la primera sería, claramente, la supervivencia propia. Y sólo en casos muy concretos, por encima de esta primera ley, habría una ley cero de beneficio de la sociedad.
dagorent
Yo pienso que la solución debería de ser sencilla, si se salta la ley, y no hay manera de evitar el accidente (cruzan en rojo y no se puede frenar) el que se ha saltado la ley y hace lo incorrecto es el que tiene que pagar, sea el número que sea, da igual si son cinco en el paso de cebra y uno solo en el vehículo, la culpa es de quien no hace lo correcto y se salta la ley, igual que si está el semáforo en rojo para mi coche y este no puede frenar debería de matarme a mí (recordemos que los coches autónomos deben de hacerse de tal forma que siempre cumplan la ley, por lo tanto estos casos serán mínimos e infinitamente inferiores a los provocados por un humano).
Para el resto de casos, ambos cumplen la ley correctamente y hay un fallo provocado que haya que elegir, sencillo, cantidad pura y dura, 1 muerte mejor que 2, 3 mejor que 5, ya está. (el resto de factores son irrelevantes, más que nada porque el coche no los distingue, no puede saber la profesión de una persona, entonces nada de salvar médicos frente a dependientes, no puede saber si has robado algo etc. tampoco creo que puedan distinguir entre una embarazada y otra que no, como mucho podría distinguir niños de adultos, en cuyo caso se recurre a la pauta de siempre buscamos el bien mayor de la sociedad y perpetuidad de las especie [básicamente de eso deriva salvar a la mayor cantidad] en cuyo caso elegimos salvar a los mas jóvenes, punto.)
Respecto al tema de yo no montaría en un coche que me podría matar, bien por ti, asco de sociedad, yo obligaría a que todos los coches tuvieran ese sistema, es por el bien de la sociedad, no eres la única persona en el mundo, si tu muerte permite salvar 5 vidas, asúmelo, es lo mejor, si no te gusta vete andando, porque está claro que eres demasiado egoísta incluso para conducir por ti mismo también. (Luego la gente se hinchará la boca diciendo yo moriría por… a pero a la hora de la verdad nunca cogería un coche que no eligiera por mi…. si es que…)
El único punto complicado podría ser en caso de que ambos lados cumplan la ley y el coche lleve un ocupante y solo haya una persona en la vía (no se me ocurre ningún ejemplo de este caso en el que ambos cumplan la ley pero bueno...) supongo así a bote pronto, si el coche puede comprobar las posibilidades de supervivencia de cada uno, adelante con su decisión matemática pura, si no puede calcularlo, mejor que tenga accidente el del coche, es más probable que tenga más medidas de seguridad.
zakatolapan
1. Un robot no hará daño a un ser humano o, por inacción, permitir que un ser humano sufra daño.
2. Un robot debe obedecer las órdenes dadas por los seres humanos, excepto si estas órdenes entrasen en conflicto con la 1ª Ley.
3. Un robot debe proteger su propia existencia en la medida en que esta protección no entre en conflicto con la 1ª o la 2ª Ley.
Y...
0. Un robot no hará daño a la Humanidad o, por inacción, permitir que la Humanidad sufra daño.
nyar
El resultado del test ha dado que somos una sociedad egoísta... es otro ejemplo mas de como vamos cuesta abajo y sin frenos.
como dicen por ahí arriba lo mas justo es que el coche simplemente cumpla la normativa de trafico y la ley a rajatabla y que el que muera sea el que no esta cumpliendo la ley sea quien sea, de esa manera pronto aprenderemos educación vial y estos casos dejaran de suceder.
luizja
No sé la verdad ahora cómo se hacen los tests para los autos pero su forma de aprendizaje no sería un poco mejor si se corrieran todos los escenarios que se conocen hasta ahora que han provocado accidentes de forma que el sistema vaya aprendiendo de ellos y de igual forma el mismo sistema que corre las simulaciones pueda aprender y generar otras probabilidades para abarcar cuanto sea posible claro que es imposible conocer todos los escenarios pero conocer los anteriores en definitiva le comenzaría a dar una pauta de cómo se pudieran incluso prevenir o bien minimizar el daño en general. No sé, probablemente sea mucho pedir pero es algo que se tiene que hacer y si desde este momento se comienzan a poner de acuerdo en este tema de seguridad tan importante las automotrices pudiera ser que se llegue a una solución que satisfaga a la mayoría.
ZellDich
Se debe salvar segun un sistema de inteligencia moral y no lo q diga la mayoria, si el conductor debe estrellarse por q es mas probable q se salve el peaton ya q un atropello es casi muerte segura y alguna posibilodad que al estrellarse el coche con carroceria puede salvar al conductor, pues es lo que se hara, aunque venga alguien pensando que no, que mejor me salvo yo y al resto que le den. Los porcentajes matematicos, la decision moral y la probabilistica es lo que hace mejor a la maquina a la hora de decidir. Quitando esto la reduccion de accidentes entre conductores humanos que no cumplen la ley y las maquinas sera increible. Se acabo conductores borrachos y drogados, distracciones de movil o barbaridades peores.
julianalvareztraver
el diablo sobre ruedas
adios
pillabichos
La compilada ley 0 de la robótica de Asimov.