Lo que OpenAI está consiguiendo con GPT-3 es, en pocas palabras, impresionante. Este nuevo modelo de lenguaje es capaz de programar, diseñar, mantener conversaciones sobre temas complejos de forma fluida y, ahora, resumir libros enteros en un par de frases.
El sistema funciona de una forma bastante peculiar. En lugar de resumir el libro completo de una sola vez, lo hace reduciendo la tarea en tareas más pequeñas. Primero resume el texto original en secciones, luego resume esas secciones, que a su vez son resumidas en secciones más pequeñas y, finalmente, se consigue un resumen mucho más corto con la idea principal del libro.
De 24.449 a 136 palabras
De acuerdo a OpenAI, su modelo ajustado a partir de GPT-3 genera "resúmenes sensatos de libros entero incluso igualando la calidad media de los resúmenes escritos por humanos". Aseguran que tiene una precisión de seis sobre siete con respecto a los humanos que han leído el libro el 5% de las veces y de cinco sobre siete con respecto a los humanos que han leído el libro el 15% de las veces.
Para demostrarlo, OpenAI ha publicado una serie de resúmenes de libros en su web, pero a continuación mostramos traducidos los resúmenes de 'Alicia en el País de las Maravillas' y 'Romeo y Julieta' para que nos hagamos una idea:
"Alicia cae en una madriguera y crece hasta alcanzar un tamaño gigantesco tras beber una misteriosa botella. Decide concentrarse en volver a su tamaño normal y encontrar el camino hacia el jardín. Se encuentra con la Oruga, que le dice que un lado de la seta la hará crecer más alto y el otro más bajo. Se come la seta y vuelve a su tamaño normal. Alicia asiste a una fiesta con el Sombrerero Loco y la Liebre de Marzo. La Reina llega y ordena la ejecución de los jardineros por haberse equivocado con las rosas. Alicia las salva poniéndolas en una maceta. El Rey y la Reina de Corazones presiden un juicio. La Reina se enfada y ordena que Alicia sea condenada a muerte. Alicia se despierta y encuentra a su hermana a su lado" - Alicia en el País de las Maravilla (26.449 palabras).
"Romeo se encierra en su habitación, ya no está enamorado de Rosalina. Capuleto invita a muchos invitados a su fiesta, entre ellos Romeo y su amor, Julieta. Lady Capuleto le dice a Julieta que Paris, un hombre valiente, busca su mano en matrimonio. Romeo ve a Julieta y se enamora de ella. Julieta le confiesa su amor a Romeo y acuerdan casarse. Romeo mata a Tybalt en una pelea y es condenado al exilio. Julieta acepta fingir su muerte e ir a Mantua con Romeo. Romeo compra veneno para matar a Julieta en su tumba. Él y Paris se pelean y ambos mueren. Julieta se despierta y se suicida. El Príncipe dice que el cielo ha castigado el odio entre los Capuletos y los Montescos" - Romeo y Julieta (25.433 palabras).
Según explica la compañía, los modelos grandes entrenados previamente no son buenos para resumir. Una forma de mejorarlos es entrenarlos con comentarios de los humanos, pero eso requiere que dichos humanos hayan leído el libro entero y es algo que podría llevar horas.
¿Solución? La descomposición recursiva de tareas, o lo que es lo mismo, dividir una tarea difícil en otras más fáciles. Eso permite a los humanos evaluar los resúmenes más rápidamente y, evidentemente, permite al modelo resumir libros de cualquier longitud.
OpenAI entrenó al modelo con un dataset de libros, mayormente de ficción, que contenían unas 100.000 palabras de media. Para evaluar el modelo, seleccionaron los 40 libros más populares de 2020 y encargaron a dos personas que los leyeran, hicieran un resumen y luego evaluaran el resumen hecho por la IA.
El resultado es bueno, pero no está exento de problemas. Algunos de los más destacables es que puede generar afirmaciones inexactas (algo que puede deberse a la falta de contexto derivada de simplificar una tarea grande en tareas peque´ñas) y que, en algunas ocasiones, el resumen se convierte en una lista de los eventos importantes que hay en el libro.
En declaraciones a VentureBeat, OpenAI ha confirmado que la compañía "no tiene places de hacer disponible públicamente u open source el modelo de resumen de libros".
Vía | OpenAI
Ver 23 comentarios