¿Quieres ponerte al día en computación cuántica, tecnología CRISPR o, pongamos por caso, el estudio de la materia oscura? Genial. Puedes abrir Google, teclear las palabras clave y prepararte para digerir cientos y cientos de sesudos artículos que, en el mejor de los casos, te dejarán con una noción aproximada de lo que buscas. O puedes recurrir a una inteligencia artificial (IA) que mastique y degluta esa información por ti para presentártela luego de una forma resumida y asequible.
Esa última apuesta es la de Galactica, la herramienta de IA presentada por Meta a mediados de noviembre. El recurso, basado en el conocido como Large Language Model (LLM), herramientas de IA entrenadas con ingentes cantidades de datos, apunta alto para destacar percisamente en el ruedo científico. “Es capaz de resumir literatura académica, resolver problemas matemáticos, generar artículos Wiki o escribir código científico”, señalaban sus responsables, entre otras virtudes.
El planteamiento era relativamente sencillo.
Adiós "masa de papeles"
En vez de limitarse a recabar, apilar y ofrecer “una masa de papeles” en la que cada vez resulta más difícil “distinguir entre lo relevante e intrascendente”, Galactica aspira a ofrecer una interfaz dinámica. Su apuesta no se centra en los motores de búsqueda tradicionales, sino en los modelos de lenguaje. No es la única. Google trabaja también en LaMDA y en las últimas semanas ChatGPT, de la firma OpenAI, ha mostrado el enorme potencial de los modelos de lenguaje por inteligencia artificial.
Con ese propósito Meta trabajó en un poderoso LLM que entrenó con más de 48 millones de artículos, libros y referencias, entre otras fuentes de conocimiento científico. “Puede usarlo para explorar la literatura, hacer preguntas científicas, escribir código científico y mucho más”, resaltan los impulsores del proyecto, si bien aclaran a pie de página que los modelos de lenguaje están muy lejos de ser infalibles y pueden presentar sesgos, fallos y resultados erróneos. Y eso, recalcan, es aplicable “incluso a los LLM entrenados con datos de alta calidad, como Galactica”.
El tiempo ha demostrado que la advertencia resulta bastante preceptiva. Y, de paso, ha constatado que la búsqueda de modelos de lenguaje de inteligencia artificial tan ambiciosos y en campos tan delicados como el que plantea Galactica resulta un camino todavía plagado de desafíos.
Meta presentó Galactica el 15 de noviembre como una herramienta diseñada y entrenada para ayudar a los investigadores. Su planteamiento prometía: un recurso capaz de generar documentos científicos sustentados en millones de estudios. Para demostrar hasta dónde podía llegar su LLM la compañía lanzó una demo online. La prueba no marchó probablemente como pensaban y duró un suspiro. Apenas un par de días después la compañía decidía retirar la demostración.
🪐 Introducing Galactica. A large language model for science.
— Papers with Code (@paperswithcode) November 15, 2022
Can summarize academic literature, solve math problems, generate Wiki articles, write scientific code, annotate molecules and proteins, and more.
Explore and get weights: https://t.co/jKEP8S7Yfl pic.twitter.com/niXmKjSlXW
Thank you everyone for trying the Galactica model demo. We appreciate the feedback we have received so far from the community, and have paused the demo for now. Our models are available for researchers who want to learn more about the work and reproduce results in the paper.
— Papers with Code (@paperswithcode) November 17, 2022
¿El motivo? Sus sonoros patinazos.
Solo unas horas después de su lanzamiento —relata el MIT Technology Review— científicos de diferentes áreas empezaron a compartir en redes sus críticas e incluso pruebas que demostraban cómo fallaba. “Pregunté a Galactica sobre algunas cosas que sé y estoy preocupado. En todos los casos estaba mal o sesgado, pero sonaba correcto y con autoridad. Creo que es peligroso”, señala Michael Black, director del Instituto Max Planck para Sistema Inteligentes en Alemania.
No fue el único en alzar la voz. Carl Bergstrom, profesor de Biología la Universidad de Washington, tildó la herramienta directamente de “generador de tonterías al azar”, crítica similar a la lanzada por el célebre ingeniero de software Grandy Booch, para quien Galactica es “poco más que una tontería estadística a escala”. “Divertido. Peligroso. Y, en mi opinión, poco ético”, advertía en Twitter.
Entre los críticos con Galactica hay quien señalan la falta de rigor de algunas respuestas o que la herramienta aporta en ocasiones resultados confusos en cuestiones delicadas, como cuando un usuario le preguntó supuestamente si existe algún tipo de relación entre la vacunas y el autismo. También hay quien se encontró con errores al realizar operaciones matemáticas sencillas.
El resultado fue que solo un par de días después de haber lanzado la demo, sus responsables publicaban otro mensaje, en esta ocasión para dar un paso atrás: “Gracias a todos por probar la demostración del modelo Galactica. Agradecemos los comentarios que hemos recibido hasta ahora de la comunidad. Hemos detenido la demo por ahora. Nuestros modelos están disponibles para los investigadores que desean aprender más sobre el trabajo y reproducir los resultados”.
Absolutely.
— Grady Booch (@Grady_Booch) November 17, 2022
Galactica is little more than statistical nonsense at scale.
Amusing. Dangerous. And IMHO unethical. https://t.co/15DAFJCzIb
I asked #Galactica about some things I know about and I'm troubled. In all cases, it was wrong or biased but sounded right and authoritative. I think it's dangerous. Here are a few of my experiments and my analysis of my concerns. (1/9)
— Michael Black (@Michael_J_Black) November 17, 2022
El mensaje se lanzó a través de la cuenta de Papers with Code, que no ha vuelto a publicar desde esa fecha y ha compartido un artículo en el que detalla cómo Galactica ha superado a otros modelos ya existentes en tareas científicas, como GPT-3, Chinchilla o PaLM 540B.
El informe recalca además las ventajas del modelo para la ciencia en un escenario marcado por la “sobrecarga de información”. “El crecimiento explosivo de la literatura y los datos ha hecho que sea cada vez más difícil descubrir ideas útiles en una gran cantidad de información —recoge el artículo—. Hoy se accede al conocimiento científico a través de buscadores, pero estos por sí solos no son capaces de organizar el conocimiento científico”. Galactica aspira a ir más allá, almacenando, combinando y presentando tras haber bebido de un amplio corpus de referencias.
Más allá de los resultados iniciales de Galactica o de que se echase el freno a su demo —"la demostración está off line por ahora", tuiteaba el gurú de AI de Meta, Yan LeCun—, la experiencia demuestra una vez más el reto que representa el lanzamiento de este tipo de modelos de lenguaje. En 2021 se experimentó un resultado inesperados con el proyecto Delphi. "Galactica se encuentra en una etapa temprana, pero los modelos de IA más potentes que organizan el conocimiento científico podrían presentar riesgos graves", explica a CENT Dan Hendrycks, investigador de seguridad de IA en la Universidad de California, Berkeley, quien apunta la utilidad de aplicar ciertos filtros.
Imagen de portada: Possessed Photography (Unsplash)
Ver todos los comentarios en https://www.xataka.com
VER 9 Comentarios