Los chatbots de IA nos hablan como si fueran capaces de razonar. Es una gran mentira

Uno le pregunta algo a ChatGPT y parece como si realmente este chatbot fuera capaz no solo de entender lo que le estamos preguntando, sino que además contesta de forma humana. Como si pudiera razonar. En los últimos tiempos estamos viendo de hecho cómo empresas como OpenAI (con o1) o Microsoft (con Think Deeper) presumen de modelos que razonan, pero nada más lejos de la realidad.

Chatbots a examen. Seis investigadores de Apple quisieron poner a prueba tanto modelos de IA Open Source como modelos propietarios. La idea, comprobar sus limitaciones a la hora de "razonar". En el estudio resultante de tal proyecto analizan Llama, Phi, Gemma, Mistral, y también GPT-4o y o1.

Xataka

O1 no "razona" ni es una AGI, pero sí permite mitigar el gran problema de los chatbots: que dejen de alucinar tanto

Los benchmarks nos engañan. Entre las pruebas destaca GSM8K, un benchmark desarrollado por OpenAI y muy popular a la hora de evaluar la capacidad de razonamiento matemático de estos modelos de IA. GPT-3 (175B) puntuó con un 35%, y en la actualidad modelos mucho más pequeños de 3B de parámetros superan el 85% y algunos de los grandes LLM llegan a superar el 95%. ¿Significa eso que realmente razonan? Resulta que en realidad no.

Jugando a cambiar valores. Mehrdad Farajtabar, uno de los responsables del estudio, —otro de los que lo firman es Samy Bengio, hermano de Yoshua Bengio— explicaba en un hilo en X (Twitter) cómo habían concebido su análisis. Desarrollaron una herramienta llamada GSM-Symbolic con la que podían generar experimentos controlados con distintos valores y nombres para ver cómo se comportan los modelos de IA al cambiarlos.

Precisión discutible. Lo primero que descubrieron estos investigadores es que la precisión en el benchmark GSM8K era bastante variable. Pero Farajtabar destacaba cómo ese "razonamiento" era especialmente frágil. "Los LLM se mantienen muy sensibles a los cambios en los nombres propios (gente, comida, objetos) y más aún cuando se alteran los números. ¿Cambiarían las notas de los estudiantes en un examen de matemáticas en un 10% si solo cambiáramos los nombres de las cosas que se enuncian en los problemas?".

Añadir o quitar información afecta demasiado a la capacidad de "razonamiento" de los LLM, concluyeron estos investigadores.

Más difícil todavía. Si se eliminaba una frase del enunciado del problema, se añadía otra o se añadían dos, rendimiento caía y la variabilidad de los resultados en el test GSM8K aumentaba, lo que para estos investigadores hace que los modelos sean "cada vez menos fiables".

Vamos a engañar a la IA. Para girar aún más la tuerca, los investigadores decidieron añadir al problema una frase que parecía relevante pero que en realidad no contribuía al proceso de "razonamiento" o a la conclusión. Lo que ocurría era que los modelos reducían su rendimiento de forma notable. Esa información irrelevante provocaba una caída en su capacidad precisamente porque intentaban tomarla en cuenta, cuando en realidad si "razonaran" descubrirían que no tenía sentido hacerlo.

Tramposos al ajedrez. El estudio de estos investigadores es la confirmación de algo que analistas y expertos llevan tiempo destacando desde hace tiempo. Pruebas sencillas como poner a un chatbot a contar erres o a multiplicar matrices lo demuestran, pero también lo podemos ver si le pedimos a un chatbot de IA generativa que juegue al ajedrez: lo normal es que acabe haciendo movimientos ilegales.

Cuidado con fiarte de tu chatbot. Una vez el mensaje es claro para quienes usan estos chatbots, pero también para quienes los desarrollan. La capacidad real de razonamiento de estos modelos es un mito, y eso hace que por ejemplo crear agentes de IA fiables que actúan sobre cierta información puede ser muy contraproducente.

En Xataka | Uno de los pioneros de la IA ha echado un vistazo a la IA generativa actual y ha llegado a una conclusión: es tontísima