La capacidad de ChatGPT sigue sorprendiéndonos. El motor de inteligencia artificial que es capaz de mantener una conversación fluida y coherente sobre cualquier tema sigue demostrando sus virtudes. Lo último: ponerle a prueba con exámenes de una facultad de derecho y de un programa de MBA (Master of Business Administration) en EEUU.
ChatGPT se examina como abogado. Un cuarteto de profesores de derecho de la Universidad de Minesota le pusieron a ChatGPT exámenes de cuatro de sus cursos el último semestre, y luego lo puntuaron a ciegas con sus exámenes mezclados con los de estudiantes reales.
Aprobado raspado. En Estados Unidos se califican los exámenes con siete letras (y signos "+" o "-" para aplicar aún más precisión) que van de la A a la F, siendo A la mejor y F la peor. ChatGPT obtuvo una nota de un C+, por debajo de la media de los resultados de estudiantes reales que sacaron un B+. Ese aprobado permitiría a ChatGPT obtener el título de derecho, aunque con esa nota algo justa estaría a prueba para ejercer en el estado de Minesota. Para los profesores "por sí solo, ChatGPT sería un estudiante de derecho bastante mediocre".
Más exámenes de derecho. En la Universidad de Derecho de Suffolk quisieron realizar la misma prueba algo antes. En diciembre examinaron a GPT con un test con múltiples opciones y también con la redacción de un ensayo.
Poco ambicioso. En aquella ocasión no aprobó, aunque lo hizo mejor de lo esperado. El chatbot lo hizo mejor en ese ensayo, y como comentaban los responsables del estudio, "ChatGPT mostró una sólida comprensión de las normas jurídicas básicas y una organización y composición sistemáticamente sólidas. Sin embargo, le costaba identificar las cuestiones relevantes y a menudo sólo aplicaba superficialmente las normas a los hechos, en comparación con los estudiantes de derecho reales".
GPT-3 aprueba (por muy poco) el exámen de un MBA. Un profesor de la Universidad de Pensilvania y de la prestigiosa Wharton School quiso evaluar el rendimiento de ChatGPT en su programa de MBA. Lo hizo con GPT-3, el motor del que ha acabado derivándose ChatGPT, y en su estudio comprobó que el bot obtuvo entre una B- y una B en el examen.
Consultores robóticos. Para el responsable de esa prueba demostró la capacidad de "automatizar algunas de las habilidades de los trabajadores del conocimiento altamente remunerados en general y, específicamente, de los trabajadores del conocimiento en los puestos de trabajo ocupados por graduados de MBA, incluidos analistas, gerentes y consultores".
Imagen: Nguyen Dang Hoang Nhu
Ver 11 comentarios