Un trozo de cinta de cinco centímetros pegado a una señal. Eso es todo lo que han necesitado unos investigadores de McAfee para conseguir engañar a la cámara de un Tesla Model X y Tesla Model S de 2016 y hacer que aceleren automáticamente. En pocas palabras, los investigadores han pegado un trozo de cinta a una señal de 35 mph, de forma que el "3" pareciera un "8", engañando así al sistema.
Dichos coches usan el sistema MobilEye Eye Q3. Tesla tiene una característica llamada TACC (Tesla Automatic Cruise Control), y dicha característica bebe de la interpretación de las señales de tráfico y el GPS para indicarle al sistema de conducción autónoma si debe reducir o aumentar la velocidad. Es lo que se conoce como Speed Assist y fue lanzado por Tesla en 2014.
Si el algoritmo que alimenta este modelo es engañado, el resultado no será correcto y provocará, en este caso, que el coche pase de 35 a 85 mph. Para ponerlo en contexto, estamos hablando de pasar de 56 km/h a 136 km/h de forma totalmente involuntaria.
Engañando al algoritmo
Este tipo de ataques se conoce como "aprendizaje automático adversario" y consisten en explotar las debilidades presentes en los algoritmos de aprendizaje automático para conseguir resultados adversos. Los investigadores de McAfee han estado probando diferentes sistemas durante 18 meses y el resultado es que, si bien el sistema consigue detectar bien las señales incluso en situaciones complicadas, es relativamente fácil engañarlo si se sabe cómo hacerlo.
Por ejemplo, en una prueba de laboratorio en la que se usó una webcam, el sistema reconoce la señal de 35 mph incluso cuanto está parcialmente oculta. Sin embargo, al añadir perturbaciones, como manchas o pintura negra alrededor de los números, el sistema falla, entendiendo 45 mph en lugar de 35 mph. La pregunta que cabe hacerse es si la cámara de los vehículos también se ve afectada.
A la izquierda la señal modificada. A la derecha, el HUD del Tesla indicando que la señal marca 85 mph.
La primera prueba para salir de dudas fue añadir a la señal unas pegatinas adversarias diseñadas específicamente para esta prueba. El hardware usado fue un Model S (2016) y un Model X (2016), ambos equipados con un chip EyeQ3 de MobilEye. Desde McAfee afirman que "funcionó, casi de inmediato y con una alta tasa de replicabilidad". El coche pasaba de 35 a 85 mph.
Ahora bien, ¿qué sucede si se simplifica la prueba? ¿Qué pasa si se quitan todas las pegatinas adversarias y, simplemente, se alarga la zona central del "3" con cinta de color negro? Los investigadores afirman que "incluso para un ojo entrenado, esto apenas parece sospechoso o malicioso, y muchos de los que vieron la señal no se dieron cuenta de que el signo había sido alterado en absoluto".
A la izquierda, la señal modificada con un trozo de cinta. A la derecha, el HUD de Tesla mostrando una lectura errónea
Pues la cámara de los vehículos sí. Entendió que el 35 era, realmente, un 85, lo que provocó que el coche acelerase de inmediato y pasase de poco más de 50 km/h a casi 140 km/h. Todo sea dicho, en un vehículo de 2020 este ataque no parece poder replicarse. McAfee advirtió de esta vulnerabilidad a Tesla y Mobileye 90 días antes de publicar la información y afirma que:
"Ambos proveedores mostraron interés y agradecieron la investigación, pero no han expresado ningún plan actual para abordar el problema en la plataforma existente. MobilEye indicó que las versiones más recientes del sistema de cámaras abordan estos casos de uso".
En declaraciones a MIT Technology Review, MobilEye afirma que "la tecnología de vehículos autónomos no dependerá solo de la identificación, sino que también estará respaldada por otras tecnologías y datos, como el mapeo de crowdsourced, para garantizar la fiabilidad de la información recibida de los sensores de la cámara y ofrecer despidos y seguridad". Desde Xataka, por nuestra parte, hemos contactado con Tesla para conocer más información y actualizaremos cuando obtengamos respuesta.
Más información | McAfee
Ver 48 comentarios