Si le preguntas a ChatGPT qué número es mayor, si 9,11 o 9,9, te responderá mal. En realidad no es el único que se equivoca con esta sencilla prueba matemática.
Claude también lo hace, pero al menos Gemini, Mistral, Copilot y Llama 3.1 (405B) aciertan y, en algunos casos, lo hacen explicando a la perfección cómo se explica esa respuesta a esta pregunta trampa.
Estamos hablando de los chatbots más avanzados del mercado, procedentes de empresas que han utilizado enormes cantidades de dinero, trabajo y recursos para entrenar estos modelos de IA generativa. Y sin embargo y a pesar de todo ello, en muchos casos vuelve a comprobarse algo que no nos cansamos de decir:
Los chatbots meten la pata. Mucho.
De izquierda a derecha y de arriba a abajo: ChatGPT, Gemini, Claude, Mistral, Copilot y Llama 3.1 (405B, vía HuggingFace). ChatGPT y Claude meten la pata, mientras que el resto responde correctamente. Copilot —que curiosamente está basado en GPT-4— no solo conteste bien, sino que dé la explicación más clara.
Lo hacen constantemente, tanto en operaciones matemáticas básicas como esta como en otras cuestiones. A estas alturas ya nos hemos acostumbrado a que los chatbots de IA fallen —hola, pizza con pegamento—, y aunque ciertamente pueden ser de ayuda, hay que revisar cada una de sus respuestas. Y si no, que se lo digan a los programadores: se estima que de todas las respuestas que ChatGPT que ofrece a cuestiones relacionadas con la programación, aproximadamente la mitad son erróneas.
Los propios responsables de estos modelos de IA dejan claro desde el principio que las respuestas de sus chatbots pueden ser erróneas. Sus loros estocásticos simplemente responden a patrones probabilísticos, y no tienen ni idea de lo que dicen. Lo que pasa es que el funcionamiento de estos modelos se ha ido puliendo y en muchas ocasiones, casi sorprendentemente, aciertan con una precisión total.
Pero ante esa incertidumbre —"¿me estará respondiendo bien ChatGPT o se lo está inventando todo?"— surge una pregunta importante. Si no podemos fiarnos del todo de un chatbot de IA, ¿cómo nos vamos a fiar de un buscador basado en IA?
Eso es lo que ahora propone OpenAI, que ha lanzado su buscador SearchGPT. Lo ha hecho con pies de plomo, eso sí: la herramienta está calificada como "prototipo" —hasta incluyen ese término en la URL de la página web del anuncio— por parte de sus responsables, y solo un pequeñísimo número de usuario tiene acceso a sus funciones.
Hay aquí al menos algo importante: SearchGPT, como el buscador de Google, incluye atribución y enlaces a las fuentes originales de las que provienen los resultados. Es algo importante para la credibilidad del buscador se consolide, pero es que además es algo casi obligado para motores de búsqueda. Perplexity, el primer gran buscador independiente basado en IA, precisamente parece haber sido inspiración de SearchGPT.
El propio ChatGPT y Copilot podían hacer búsquedas en la web desde hace tiempo, pero esta es la primera vez que OpenAI crea un producto específicamente diseñado como un buscador. Es algo que parecía inevitable, sobre todo teniendo en cuenta que cada vez más usuarios —como quien suscribe— realizan búsquedas directamente en ChatGPT u otros chatbots de IA.
En realidad muchas de esas búsquedas no son más que preguntas de las que uno espera una respuesta directa. En los últimos años Google, sabedor de que ese tipo de acción era cada vez más frecuente, trató de adelantarse a nuestros deseos.
Desde entonces, si pedimos una receta de una tortilla (con cebolla, claro), Google nos la presentaba directamente, para luego mostrar enlaces adicionales. De repente el buscador se convertía en un motor de preguntas y respuestas, pero uno basado en contenidos de medios y personas que los habían creado: las respuestas no están generadas probabilísticamente, como ocurre con los modelos de IA generativa de texto.
La pregunta, claro, cuánto tiene SearchGPT de chatbot generativo y cuánto de buscador tradicional que aprovecha los contenidos de internet plantándonoslos como resultados, que es lo que venía haciendo Google.
De la respuesta a esa pregunta depende la fiabilidad de SearchGPT y su potencial éxito. En Google lanzaron las "AI Overviews" en su evento Google I/O hace unos meses, pero lo hicieron de forma poco cauta. Fue entonces cuando se comprobó que esas respuestas podían ser un verdadero desastre —el ejemplo citado de las pizzas con pegamento fue el más comentado—, ante lo que Google tuvo que disculparse pocos días después.
Pero claro, si SearchGPT quiere tener éxito no puede ser tan solo "otro Google". Debe aprovechar las fortalezas de ChatGPT, pero hacerlo precisa y, más difícil todavía, eficiente. Los modelos de IA generativa consumen mucha energía y agua y contaminan, y si no son fundamentalmente mejores como buscadores, serán un simple desperdicio.
Así pues, muchos retos para un buscador que comienza a dar sus primeros pasos pero que tiene ante sí un primer obstáculo clave. El de no meter la pata tanto como lo ha hecho su hermano mayor (y sus alternativas).
Imagen | Xataka con Bing Image Creator
Ver 14 comentarios