DALL-E, GPT-3, Imagen... son algunos de los nombres más reconocidos en el campo de la inteligencia artificial. Todos ellos tienen algo en común y es que no son modelos abiertos. Estas IA están permitiendo generar imágenes y conversaciones alucinantes, pero no queda claro para todo el mundo cómo han llegado hasta ahí. Un proceso extremadamente complejo y que para muchos investigadores también es opaco.
BLOOM es el gran proyecto open source que quiere cambiar esta situación. Un modelo abierto multilenguaje con 176.000 millones de parámetros y entrenado con 1,5 terabytes de texto. Si los modelos existentes son en relevancia como el Google de la época, BLOOM puede ser el equivalente a la Wikipedia.
Un año de trabajo después, la comunidad ya tiene su gran IA abierta
El número de parámetros no es casualidad. BLOOM ('BigScience Language Open-science Open-access Multilingual') es justo un poco más grande que GPT-3 (175.000M). Pero no es su potencia lo que lo hace tan relevante, sino el proceso por el cual se ha llevado a cabo. Empresas como Meta o OpenAI también tienen algunas IA abiertas, pero todas estas iniciativas tienen un interés comercial detrás.
Aquí es donde entra la comunidad y BLOOM. BigScience es la organización responsable de este modelo. Un grupo de más de 1.000 investigadores dedicados a la inteligencia artificial, unidos a través de Hugging Face, la principal plataforma y comunidad alrededor de la IA. Pero no han estado solos. En total, más de 250 instituciones han colaborado en este proyecto que empezó a principios de 2021.
Según describe Nature, BLOOM fue entrenado en Francia con el supercomputador Jean Zay financiado con fondos públicos por valor de 7 millones de dólares. El resultado fue publicado a mediados del pasado mes de junio.
El uso de BLOOM dependerá de los investigadores, pero ya se contemplan algunos usos como extraer información de textos históricos y hacer clasificaciones en biología. Al ser un proyecto abierto, desde Hugging Face lanzarán una aplicación web y permitirán a que cualquier usuario pueda descargar BLOOM para hacerlo funcionar.
Social impact of LLM series with @BigscienceW and @mtlaiethics part 3: let's talk about data!
— Yacine Jernite (@YJernite) June 23, 2022
Training data is at the heart of modern ML, yet we still pay too little attention to how it's governed, curated, and to who has a say in data choices:
🧵1/6https://t.co/wij9GdX1Nt pic.twitter.com/1C2Nf0uIi5
Una de las características de BLOOM son los datos utilizados. Los resultados de las IA están muy relacionados con los conjuntos de datos en los que se basan. En este caso, el equipo de investigadores seleccionó a mano casi el 70% de las 341.000 millones de palabras con las que se entrenó.
Uno de los objetivos de la iniciativa fue también alimentar a la IA con una base de datos diversa y suficiente representativa de diferentes lenguas y culturas.
"Valores como la apertura, la inclusión, la diversidad, la responsabilidad y la reproducibilidad son el ADN de este proyecto. BigScience y BLOOM encarnan el intento más notable y honesto de derribar las barreras que Big Tech ha levantado en torno a la IA durante estos años", apunta Alberto Romero, analista en CambrianAI.
Habrá que esperar para ver los resultados, pero que la comunidad open source haya presentado ya una alternativa abierta a los modelos de IA es una gran noticia, sobre todo teniendo en cuenta el enorme trabajo y los elevados requisitos técnicos que hay detrás de la creación de estos modelos.
Más información | BigScience
Ver 10 comentarios