En las últimas semanas son varios los mensajes que diversos usuarios han compartido en X o Reddit para quejarse de que ChatGPT se estaba volviendo vago. En concreto parece estar ocurriendo con GPT-4 en ChatGPT Plus. Quienes lo utilizan afirman que sus respuestas "se han vuelto mucho más cortas que antes. Son vagas y genéricas, y les falta detalle y matices". Hay incluso pequeños estudios estadísticos que parecen confirmar esa degradación en las respuestas.
La propia OpenAI, responsable de su creación, ha reconocido que está al tanto del teórico problema. "No hemos actualizdo el modelo desde el 11 de noviembre", indican en su mensaje en X, "y ciertamente no es algo intencionado, el comportamiento del modelo puede ser impredecible, y estamos buscando la forma de solucionarlo".
En la cuenta oficial en X de ChatGPT también indican que "no es que el modelo haya cambiado de alguna forma por sí mismo desde el 11 de noviembre. Solo es que las diferencias en el comportamiento del modelo pueden ser sutiles. Solo un subconjunto de los prompts se pueden degradar, y puede llevar mucho tiempo que los clientes y empleados lo noten y arreglen esos patrones".
La compañía también revelaba en mensajes subsiguientes cómo entrenar este tipo de modelos no es un proceso industrial clásico: aunque se entrente varias veces a un modelo con exactamente los mismos datos, puede que el resultado sean "modelos que son sensiblemente distintos en personalidad o estilo de redacción", por ejemplo.
En OpenAI realizan pruebas detalladas de evaluación y tests A/B, y tras ver los resultados deciden si esas actualizaciones del modelo mejoran o no su comportamiento. "Este proceso se parece menos a la actualización de un sitio web con una nueva función y más a un esfuerzo artesanal de varias personas para planificar, crear y evaluar un nuevo modelo de chat con un nuevo comportamiento", explican.
Dar una propina... ¿funciona?
Quienes llevan tiempo detectando esa degradación de las respuestas también han descubierto curiosas formas de intentar que ChatGPT se comporte de nuevo como se comportaba antes de estos teóricos problemas.
Así lo afirmaba un usuario de X llamado thebes (@voooooogel) que reveló tras una sugerencia previa que si le pedía a ChatGPT hacer algo y añadía una propuesta de propina, el comportamiento del chatbot mejoraba.
En sus pruebas, este usuario le pidió que generara el código para una función de conversión con la librería PyTorch, sin más. Repitió esa petición con tres variantes: una, indicando explícitamente que no iba a darle una propina. Otra, que le iba a dar 20 dólares por la solución perfecta. Y otra, que le iba a dar 200 dólares por la solución perfecta.
Evidentemente no le dio la propina en realidad, pero tras un análisis de las respuestas detectó que las respuestas eran más largas y detalladas cuanto mayor era la propina propuesta.
Hay otros trucos que parecen funcionar si las respuestas que está dando ChatGPT Plus no son satisfactorias. Por ejemplo, evitar usar GPT-4 y utilizar la versión "clásica", basada en GPT-3.5, como afirma el desarrollador Paul Calcraft.
También hay soluciones más imaginativas y que rallan en lo absurdo. Otro desarrollador, Christian Bager Bach Houmann, explicaba que él comprobó cómo si le decía a ChatGPT que no tenía dedos para escribir el código que le pedía, el chatbot se comportaba mejor. También que "tenía 100 abuelas que morirían si fallaba" con la respuesta.
Imagen | Xataka con Bing Image Creator
Ver 7 comentarios