La nueva empresa de Ilya Sutskever, ex de OpenAI, tiene un nombre que es una declaración de intenciones. Sobre ella misma y sobre la que a partir de ahora será su competencia: 'Safe Superintelligence' (Superinteligencia Segura), abreviada como SSI.
Por qué es importante. Su lanzamiento, con antiguos líderes de OpenAI al frente, marca un paso notable en la búsqueda de un futuro de IA segura. Justo lo que dinamitó internamente a la empresa, con victoria final de Altman.
SSI busca garantizar que los sistemas de IA superinteligentes se desarrollen con la seguridad y la protección como prioridades fundamentales. Evitando posibles consecuencias catastróficas.
- Ese enfoque cauto fue lo que confrontó a Ilyas con Altman.
- Jan Leike, otro peso pesado de OpenAI, ahora en Anthropic, denunció que la empresa estaba priorizando "productos brillantes" frente a la seguridad.
- Ambos están fuera de una OpenAI en la que Altman ha salido tan fortalecido que lidera el comité que vigila sus propios desarrollos.
El contexto. La superinteligencia se refiere a sistemas de IA que superan la inteligencia humana en todos los ámbitos. Garantizar la seguridad de estos sistemas es crucial, ya que sus capacidades podrían influir en muchos aspectos de nuestra vida.
La misión de SSI, resumida en su sencillísima web corporativa, es avanzar en las capacidades de la IA manteniendo siempre un enfoque en la seguridad, intentando resolver este doble desafío mediante innovaciones de ingeniería y científicas, y libre de las urgencias comerciales.
El desafío. Crear una superinteligencia segura implica superar varios obstáculos, tanto técnicos como filosóficos:
- Problema de alineación. Garantizar que los sistemas de IA actúen conforme a las intenciones humanas. Los métodos actuales, como el aprendizaje por refuerzo basado en retroalimentación humana, son insuficientes para supervisar sistemas de IA significativamente más inteligentes que los humanos.
- Escalabilidad de la seguridad. Las técnicas actuales de alineación de IA no escalan a los niveles requeridos para la superinteligencia. Hacen falta nuevos avances científicos y técnicos para desarrollar medidas de seguridad confiables.
- Equilibrio entre velocidad y seguridad. SSI busca avanzar rápidamente en las capacidades de la IA asegurando al mismo tiempo que las medidas de seguridad siempre vayan un paso por delante. Esto requiere un equilibrio delicado y una innovación continua.
En perspectiva. Analistas como Chirag Mehta han mostrado sus dudas sobre la ambigüedad del concepto de "superinteligencia segura" y sus implicaciones prácticas.
El lanzamiento de SSI atraerá a investigadores con una gran vocación del desarrollo seguro en IA y quizás desilusionados con el enfoque actual de gran parte de la industria, que prima productos comercializables por encima de las consideraciones éticas.
- La misión de SSI está alineada con los objetivos originales de OpenAI, cada vez más en duda.
Con el anuncio de la nueva empresa queda ver qué tipos de perfiles se van incorporando a ella, y cuál es el contexto de cada uno. También será interesante ver quiénes la financian y con quién se asocia como termómetro para intuir su potencial para alcanzar sus objetivos.
Imagen destacada | OpenAI, Xataka
Ver 3 comentarios