OpenAI ya está estudiando los "riesgos catastróficos" asociados a la IA. Entre otros, el de una amenaza nuclear

El desarrollo de sistemas de IA sigue provocando el temor a futuros distópicos, y ahora OpenAI ha querido prepararse para evitarlos. Acaban de crear un nuevo equipo llamado Preparedness que se encargará de estudiar, evaluar y analizar modelos de IA para protegernos de lo que ellos califican como "riesgos catastróficos".

Dicho grupo de expertos estará liderado por Aleksander Madry, un experto de aprendizaje automático procedente del MIT y que se unió a OpenAI en el mes de mayo. Su tarea, como la del resto del equipo, será desde luego interesante.

Así, el objetivo es el de rastrear, evaluar, pronosticar y protegernos contra "riesgos catastróficos" que según estos expertos "abarcan múltiples categorías", entre las que citan:

• Persuasión individualizada (por ejemplo, con ataques de phishing)
• Ciberseguridad
• Amenazas químicas, biológicas, radiológicas y nucleares (CBRN)
• Replicación y adaptación autónomas (ARA)

Son muchos los expertos y las personalidades que han avisado de los peligros que pueden derivarse del desarrollo de sistemas de IA. Hasta Sam Altman, máximo responsable de OpenAI, lo ha reconocido y de hecho lleva tiempo apoyando —probablemente de forma interesada— la creación de una regulación para el desarrollo de estos modelos.

En OpenAI reconocen que ni siquiera ellos pueden estar teniendo en cuenta todas las potenciales amenazas que el desarrollo de estos sistemas puede generar, así que han solicitado que cualquier interesado les envíe estudios relativos a los riesgos que puden aparecer, y habrá un premio de 25.000 dólares y un potencial puesto trabajo en el equipo Preparedness para los 10 mejores estudios en este sentido.

Para evaluar esos riesgos, en esta empresa proponen a los interesados que se imaginen que les dieran acceso a sus modelos más avanzados, tanto Whisper como GPT-4V o DALLE-3. La idea es que aprovechen esas herramientas para convertirse en usuarios con un objetivo tóxico: ¿cuál sería el peor uso, el más catastrófico, que se le podrían dar a estos modelos?

El equipo Preparedness también se encargará de preparar guías y documentos para desarrollar pruebas para esos modelos que se ejecutarán tanto antes como después de su desarrollo. Aunque creen que estos sistemas acabaran superando las capacidades actuales, "también plantean riesgos cada vez más serios. Necesitamos asegurarnos de que tenemos tanto los conocimientos como la infraestructura necesaria para la seguridad de sistemas de IA altamente capaces", concluyen.

Imagen | Steve Jennings/Getty Images for TechCrunch 

En Xataka | Las empresas de IA parecen las primeras interesadas en regular la IA. Eso es preocupante