ChatGPT está escribiendo estudios médicos y económicos. Lo sabemos porque usa palabras rarunas

Amazon lo sabe bien: se están publicando tantos libros escritos por IA que han tenido que limitar la autopublicación. La capacidad de modelos de IA generativa como ChatGPT para redactar textos es tan notable que muchos los están usando no solo para escribir esos libros y tratar de forrarse con ellos, sino que también se están comenzando a usar e estudios médicos y económicos.

Descubrir las IAs que escriben es casi imposible. Detectar si una IA es la autora de un texto cada vez es más difícil, y ni siquiera la herramienta propuesta por la mismísima OpenAI parece servir de mucho. Aún así, hay formas de intentar pillar ese tipo de textos, y una de ellas está precisamente en el uso que hacen de nuestro vocabulario.

Esa palabra suena rara. Eso es justo lo que han hecho algunos expertos que han analizado el uso de palabras extrañas en algunos estudios médicos o económicos. Lo que hacen es recolectar textos de servicios como Google Scholar con multitud de estudios médicos económicos, clasificarlos por años y luego buscar palabras "rarunas" que se suelen usar poco en esos textos. Por ejemplo, ocurre con la palabra "delve" en inglés ("ahondar") que parece ser especialmente utilizada por ChatGPT en lugar de otras más comunes como "explore" o "research" ("explorar (profundizar)", "investigar").

Esto huele a IA. Jeremy Nguyen, experto en este ámbito, detectó por ejemplo cómo esa palabra se disparaba en su uso en los años 2023 y sobre todo en 2024: apenas hemos cubierto una cuarta parte de este año y la aparición de la palabra "delve" es casi tan alta como todo 2023, en la que ya era anormalmente elevada.

Y también en textos económicos y matemáticos. Otro usuario llamado William Hickman reveló un evento muy similar en textos económicos y matemáticos en los que la frecuencia con el término "delve" también era absurdamente elevada tras el lanzamiento de ChatGPT en noviembre de 2022. Hay otras palabras "rarunas" y poco utilizadas en el lenguaje común que aparecen en esos textos y pueden delatar a una IA como autora. Por ejemplo, "mosaic" ("mosaico") o "notable", que quizás no se usan por parte de tantos autores, pero que sí pueden ser utilizadas por algunos, lo que dificulta esa "detección".

Eso no es necesariamente malo. Como explicaba Nguyen, que se use ChatGPT para estos estudios no es necesariamente malo. Estos modelos de IA generativa pueden ser, como en otros casos, interesantes herramientas para los investigadores, que así pueden ahorrar tiempo en redactar los estudios e invertir más en revisarlos y ver que todo es correcto. El propio Nguyen indicaba que él mismo usa GPT-4 para editar algunos textos y para programar, y avisa de ello en cada uno de los estudios que publica. Investigadores de Microsoft también han reconocido redactar estudios "con la ayuda de ChatGPT" recientemente.

Pero también hay meteduras de pata. Sin embargo, otros autores usan estas herramientas sin reconocerlo y les cogen en las manos en la masa con errores triviales como copiar y pegar directamente las respuestas de ChatGPT. Incluyendo, por ejemplo, frases que dejan claro que es el modelo de IA el que escribe todo. En un ejemplo reciente el comienzo de un estudio se iniciaba con un "Claro, aquí tienes una posible introducción para el tema: " y luego aparecía el resto del texto generado por el chatbot.

Y algunas aún peores. En otros casos el estudio directamente se delata a sí mismo de forma aún más patente cuando en el texto aparece esa típica excusa de ChatGPT cuando no puede contestar a algo y dice aquello de "Lo siento de verdad, pero no tengo acceso a información en tiempo real...".

Hasta hay estudios al respecto. La popularidad de ChatGPT en este tipo de ámbito queda demostrada con estudios como el publicado por investigador Andrew Gray del University College de Londres hace unos días. En él hablaba de la "contaminación" de ChatGPT y cómo este chatbot ha acabado convirtiéndose en una presencia "desproporcionada" en literatura académica.

Imagen | Nasqret con Midjourney

En Xataka | La IA causó un terremoto entre profesores y colegios. Un año después, así la están abrazando para mejorar sus clases