Una inteligencia artificial ha aprobado un examen de inglés batiendo la marca del mejor resultado logrado hasta ahora por una máquina, aunque aún queda un trecho hasta alcanzar los mejores resultados cosechados por estudiantes humanos.
Lo significativo es que el examen superado por esta IA, desarrollada por investigadores de la Universidad de Shanghái Jiao Tong, contenía un texto de 200 - 300 palabras, seguidas de una serie de preguntas de opción múltiples relacionadas con el contenido del mismo.
Y, si bien las respuestas correctas a las mismas podían encontrarse directamente en el propio texto en algunos casos, la mayoría requería de un cierto nivel de 'razonamiento' (en uno de los casos, por ejemplo, se pedía al examinado que eligiera el mejor título para el texto entre 4 opciones).
Pese a la habitual dificultad de la IA para entender ciertas sutilezas del lenguaje humano (condicionada en su mayoría por el contexto comunicativo), esta inteligencia artificial en cuestión basa su labor en su capacidad para identificar qué partes de un texto son relevantes para la pregunta, y posteriormente contesta seleccionando la respuesta que resulte más similar en significado y lógica.
Según explican los propios investigadores:
En este paper, proponemos la Red de Coincidencia Doble (DCMN) que modela la relación entre pasaje, pregunta y respuesta de manera bidireccional.
A diferencia de los enfoques ya existentes [...] Nosotros calculamos simultáneamente la representación en base al texto tanto de la pregunta como de la respuesta. [...] Los resultados experimentales muestran que nuestro modelo propuesto logra nuevos resultados de vanguardia.
El siguiente paso para los investigadores será intentar que pueda comprender la información presente en la estructura de la oración y alimentarla para ampliar su vocabulario.
El "examen final" consistió en un conjunto de 1.400 pruebas desconocidas para la IA, que había sido anteriormente entrenada con otras 25.000 pruebas dirigidas a estudiantes chinos de entre 12 y 18 años.
La nota final fue del 74%, un dato que el líder del equipo de investigadores, Hai Zhao, quiere relativizar, reconociendo que quedan aún muchas cosas que mejorar. Tencent, uno de los gigantes tecnológicos chinos, desarrolló otra IA que obtuvo un 72% tras ser sometida al mismo examen:
"La nota obtenida por nuestra IA fue algo bastante normal, viene a ser a lo sumo un C+. Los estudiantes chinos que quieren ingresar en buenas universidades aspiran al 90%".
Vía | New Scientist
Ver 0 comentarios