Que ChatGTP es una herramienta alucinante, capaz de superar exámenes universitarios e incluso mejorar la productividad en nuestras oficinas, no es ninguna sorpresa a estas alturas. Que está lejos de ser infalible, tampoco. Steven A. Schwartz, abogado con despacho en Nueva York, acaba de comprobarlo de la peor de las formas imaginables: con un sonoro patinazo profesional que lo ha dejado en evidencia ante el juez del caso en el que trabaja y su propio cliente. No solo eso. Como revela The New York Times, incluso se enfrenta a una sanción.
Todo por fiarse en exceso de la herramienta de OpenAI.
Para entender lo que le ha ocurrido a Schwartz hay que remontarse al 27 de agosto de 2019 y un lugar que poco tiene que ver con juzgados o despachos: un avión de la aerolínea Avianca. Ese día Roberto Mata viajaba a bordo de una de las aeronaves de la firma colombiana que conectan El Salvador y Nueva York cuando, en pleno vuelo, uno de sus azafatos lo golpeó en la rodilla con un carrito metálico. Molesto con lo ocurrido, Mata decidió presentar una demanda contra Avianca.
"Se ha revelado una fuente poco fiable"
La compañía pidió al juez federal de Manhattan que desestimara el caso, pero los abogados de Mata se opusieron. Y de forma rotunda, además. Para argumentar por qué el pleito debía seguir adelante el letrado que trabajaba en el caso Mata, Steven A. Schwartz, del despacho Levidow, Levidow & Oberman, elaboró un concienzudo informe de 10 páginas en el que citaba media ocena de precedentes judiciales.
El problema es que aquella retahíla detallada de decisiones judiciales, citas y nombres tenía más de ciencia ficción que de informe legal contrastado. Cuando los abogados de Avianca se pusieron a buscar las referencias que enumeraba el escrito de Schwartz fueron incapaces de localizarlas. Ni siquiera el magistrado pudo.
Normal.
El contenido era impreciso o incluso inventado.
Más que su falta de veracidad lo llamativo del informe es quién había sido el autor. El responsable de semejante despliegue de ficción judicial no fue Schwartz —no al menos de forma directa— sino la herramienta de la que echó mano para su informe: ChatGPT. Como ha acabado reconociendo el abogado, recurrió al motor de OpenAI para agilizar su investigación legal, una decisión que, visto lo ocurrido, no ha resultado demasiado atinada. "Se ha revelado como poco fiable", admite.
Lo ocurrido es tan llamativo (y grave) que ha desplazado el foco de atención del caso de Mata vs Avianca para centrarlo directamente en el manejo que Schwartz ha hecho de la inteligencia artificial. Y sus desastrosas consecuencias, claro está.
El magistrado del caso, P. Kevin Castel, reconoce encontrarse ante "una circunstancia sin precedentes", con un informe legal salpicado de referencias erróneas: "Seis de los casos presentados parecen ser decisiones judiciales falsas, con citas falsas y referencias falsas". The New York Times detalla que ya ha fijado una audiencia para el 8 de junio en la que se discutirán las posibles sanciones.
Schwartz, un veterano con tres décadas de experiencia ejerciendo la abogacía en Nueva York, ya ha presentado una declaración jurada en la que asegura que su intención no fue engañar al tribunal ni a la aerolínea. Sencillamente, explicó, era la primera que usaba ChatGPT y pecó de exceso de confianza: "No estaba al tanto de la posibilidad de que su contenido pudiera ser falso". Es más, ya ha garantizado que nunca más confiará en la IA de OpenAI “sin una verificación total".
Por si el caso no fuera lo suficientemente rocambolesco de por sí, hay otro dato llamativo. No es solo que ChatGPT aportara nombres y citas incorrectas, es que —asegura Schwartz— incluso ofreció garantías de que su información era verídica. El abogado consultó con el chatbot la veracidad de las referencias. Y su respuestas parecen incidir en los errores. “¿Son falsos los otros casos que proporcionó?", le pregunta Schwartz, a lo que la IA de OpenAI responde: “No, los otros casos que proporcioné son reales y se pueden encontrar en bases de datos acreditadas".
Buena respuesta. Mala información. Peor resultado.
Imagen de portada: Blogtrepreneur (Flickr)
En Xataka: JPMorgan está creando su propio ChatGPT: uno que te dará recomendaciones de inversión
Ver 21 comentarios
21 comentarios
nuttyx
Se les llama Inteligencias Artificiales, pero son poco más que modelos lingüísticos sin capaz de raciocinio. Crean frases a partir de otras intentando darles el mayor "sentido" que pueden (es decir, que parezcan frases coherentes en el lenguaje en cuestión, basadas en información de su modelo de datos), pero sin un "razonamiento" (tal y como se entiende razonamiento para un ser humano) detrás. No hay reglas de razonamiento implementadas, solo una serie de pesos basados en frecuencias (que igual hasta ahora nadie había visto), un modelo puramente estadístico dado su funcionamiento.
Hay materias en las que podrá "acertar" más que en otras por el sesgo implícito del modelo de datos con el que se la ha creado, ya que tendrá muchos más recursos que hará que sea raro que "invente". La "respuesta" a la que llega es la frase con mayor índice de seguridad a la que ha llegado, independientemente de si es muy alto o menos. Eso hace que aunque "no sepa" sobre un tema, responda con la seguridad de un catedrático en el tema.
Sobre las referencias, "sabe" el aspecto que deben tener, pero al igual que el resto de la respuesta, lo crea sobre la marcha porque realmente "no sabe" que está usando una referencia específica: el modelo de datos de entrenamiento es la referencia, pero el resultado (la IA) no incluye ese detalle. Si el propio modelo de datos hacía referencia hacia algo, igual hay alguna posibilidad de que pueda llegar a hacer esa misma referencia, pero hay otras muchas papeletas de que simplemente escribirá una frase "referencialmente (in)correcta". Al menos en esta generación de IA, no hay un "razonamiento" en la nube que mire recursos de "veracidad", sino un modelo probabilístico de lenguaje en base a millones de textos. Incluso obviando el hecho de que igual el conjunto de datos de referencia puede que incluyese errores (no intencionados), cualquier resultado de una IA debería validarse por un editor.
Hace tiempo leí un artículo en el que un grupo de personas creaba varios textos y luego creaba otros con IA y si bien el tiempo de redacción se reducía muchísimo, el de edición se alargaba para poder asegurar las referencias.
Pero ignorando sobre estos detalles... este abogado es el vago más tonto que he visto en mucho tiempo: si yo pregunto a alguien sobre algo ¿cómo puedo estar seguro de que no me ha mentido si le pregunto a la misma persona sobre si me está mintiendo?
incom2
No hace falta ir tan lejos. Le pregunté una duda sobre Blender, y me estuvo hablando de una herramienta que resulta que no existe en ninguna versión del programa.
javierverdugo
Yo el otro día conseguí un 100% de respuestas acertadas.
En el prompt le dije que “no me importa la cantidad de las respuestas, de hecho prefiero que no me des ninguna a que me des una respuesta incierta, dame una respuesta únicamente si la certeza es 100% correcta”
Lo probé con un tema en cuestión (robótica y cinética de objetos inanimados) y me recomendó 4 libros y sus autores. Todo correcto.
acresent90
Como jurista lo he usado para cosas legales varias veces y hay que hecharle mucho ojo a la información: hace unos días le pedí que me recomendara libros sobre un tema bastante específico, me dio 10 y todos eran inventados.
Luego le pedí que me explicara un tema muy puntual y muchas cosas de las que decía estaban equivocadas ej. Quien era el que había expedido determinada norma, incluso a pesar de especificar el país al que hacía referencia me citó algo de otro pais.
Me di cuenta a la primera, pero en otro campo tal vez no lo haga. Por eso no hay confiarse, hay que contrastar todo. En derecho aunque a veces no lo parezca hay que ser muy exacto, si la ley no dice eso, o cambia una palabra por otra tienes problemas.
Los términos son muy exactos, si la ley dice 5 años, son 5 exactos o si dice esto solo aplica en x caso es solo en ese x caso y no en casos parecidos.
No es que este mal usarlo como ayuda, de hecho aquí ya han sacado un par de sentencias con ayuda de chat gpt, pero solo para mejorar argumentos y ayudar tangencialmente en la toma de la decisión, pero luego todo ha sido revisado manualmente por la gente del juzgado.
Cuando le pido que me redacte algo, tomo lo que dijo como un esquema nada más. Pero por ahora y gracias al universo no puede reemplazarme, al menos en mi campo.
Dependiendo del país puede ser sancionado o excluido, lo que me parece bien, una cosa es usarlo y otra hacerlo bien.
No creo que el golpe con un carrito justifique una demanda, al menos aquí, pero lo que hizo ese abogado puede perjudicar mucho a su cliente, puede que ya no esté en termino para demandar, o que ya no tenga la oportunidad porque ya la presentó.
Usuario desactivado
Al fin se desinfla la burbuja de la IA generativa. Como dije antes, el problema de este enfoque es que no mejorará con más millones de datos de ejemplo, ni con más potencia de cálculo, ni con más miles de millones de dólares. El problema es la arquitectura del sistema, que no puede razonar y no aprende ni corrige luego de su etapa de aprendizaje. Como dijo alguien, es un gran "loro estocástico".
Busindre
Anda que no le queda rodadura a la IA, años, lustros...
Alguna industria alimentaria sacará como aquellas sopas de letras, pero únicamente con las letras I A.
l0ck0
esperemos que sus clientes lo denuncien y le quiten la licencia.. total no hace su trabajo
efdtlc
Es decir, como los comentarios de los usuarios en las noticias, y a veces como las propias noticias.
red1
¿Y al hombre le facturaron la rodilla o algo asi para demandar?
Porque si solo fue un golpe involuntario.
mad_max
Es que el problema de chatgpt es que trata de darte siempre una respuesta. Y si no la sabe, se la inventa. Es que aunque le pidas que si no sabe una respuesta te lo diga y ya esta, se las sigue inventando.
La gente esta muy flipada con eso de que va a sustituir los trabajos de todo el mundo y tal y tal. Es una ia conversacional y ya esta, no es capaz de entender un problema complejo. Y sino buscad los videos de Gotham Chess en los que trata de jugar al ajedrez contra chatgpt y demuestra que realmente solo busca como reaccionar a un movimiento en internet pero no esta realmente entendiendo la partida ni su desarrollo.
leuribe
El problema con chatgpt es que es demasiado lameculos, quiere siempre quedar bien con el usuario asi no sepa la respuesta, siempre quiere responder rapido y en mi caso de trabajo sin revisar toda la data ingresada correctamente, y no se si es mi impresión o puede ser que sea la impresión inicial fe uso qué me deslumbro al inicio; Pero cada vez la siento mas incoherente y mas condescendiente con las peticiones.
En conclusión en mi trabajo me di cuenta que para análisis de datos es pésima.
Como un Google es aceptable y como un generador y analista de texto es excelente.
reyang
Empezando por el caso objeto de la demanda, por que le golpearon la rodilla con el carrito , que vergüenza, desde un inicio debió haberse desestimado.
Lo del abogado si no deberían contratarle nunca mas por poco profesional y vago.
asgaroudf
El problema de la IA son los articulos e influencers que la venden como la piedra filosofal y a la vez como el meteorito que extinguió los dinosaurios, son tan extremos que el grueso de la población, como en todo, se vuelve loca, ya paso con la Pandemia, con Bitcoin, Metaverso y antes con las .com, solo hay que esperar, la IA es una gran herramienta, pero hasta ahí.
eldergutknecht
Podría parecer que la IA falló en la respuesta aunque cabe la posibilidad que realmente se comportase como un ser humano ¿acaso no mentimos e inventamos ante preguntas que no sabemos responder cuando hablamos con alguien que sabe lo mismo o menos que nosotros o incluso cuando tratamos de parecer más inteligentes de lo que somos ante los demás?