Comixify, la IA capaz de seleccionar los fotogramas más relevantes de un vídeo y convertirlos en viñetas de un cómic

Desde hace unos años, gracias sobre todo al Universo Marvel, los cómics se han convertido en noticia por ser la inspiración de numerosas producciones multimillonarias para la gran pantalla. Gracias a eso, los aficionados han tenido la oportunidad de ver las viñetas convertirse en movimiento.

Ahora, un equipo de investigadores de la Universidad Tecnológica de Varsovia quiere recorrer el camino inverso: utilizar la inteligencia artificial para convertir escenas de películas en viñetas.

Su propuesta, bautizada con el nombre de Comixify, es un software que gracias al aprendizaje automático es capaz de analizar cada fotograma de un vídeo y luego seleccionar aquellos diez que, según su criterio, mejor "cuenten la historia".

A continuación, aplica a dichos fotogramas una estética "comiquera" (recurriendo para ello a una GAN, o 'red generativa antagónica') y los maqueta en una página siguiendo un formato fijo de 2-3-2-3.

El reto de la selección de viñetas

La clave de Comixify reside en los criterios que usa para determinar la relevancia de cada fotograma. Una vez que ha extraído todos los fotogramas del vídeo, un primer filtro selecciona las imágenes más representativas en base a su segmentación temporal y a los patrones de acceso de los usuarios (basado en el estudio de los saltos durante la reproducción de vídeos)

Hasta aquí el proceso no es muy diferente del llevado a cabo, por ejemplo, por Youtube cuando nos muestra las posibles miniaturas de un vídeo que acabamos de subir.

Pero, a continuación, se realiza una nueva selección de fotogramas hasta reducir su número a los 10 definitivos. Dicha selección se realiza en base a criterios de calidad de imagen, basándose en un entrenamiento previo con datasets de análisis visual estético, como AVA y TID2013. Sólo después de esto se aplica el filtro de imagen que, como decíamos antes, 'comifica" los fotogramas.

Probando Comixify

Ahora, si quieres, puedes probar Comixify tú mismo, subiendo tus propios vídeos (de menos de 50 MB) o proporcionando un enlace a un vídeo colgado en Youtube. Nosotros lo hemos hecho con una escena de 'Los Últimos Jedi', la última película de la saga Star Wars, y el resultado es el siguiente:

¿Nuestro veredicto? No sólo la estética 'cómic' está aplicada de forma bastante elegante, sino que la selección de fotogramas tampoco está nada mal, dado que nos permite hacernos a la idea de lo que ocurre a lo largo de la escena...

...A excepción, eso sí del momento clave: Comixify no ha sido capaz de detectar la importancia del momento en el que cierto personaje provoca la muerte de cierto otro personaje (suena críptico, pero no queremos causar spoilers). Era una tarea compleja, sin duda.

De todos modos, podemos 'ayudar' a Comixify pensando como un dibujante de cómics a la hora de elegir el fragmento de vídeo a 'comicficar': pensar cuánta acción cabe en una página de 10 viñetas, e intentar no subir vídeos demasiado cortos o demasiado largos, ni vídeos que contengan más de una escena. Así, el resultado será narrativamente más satisfactorio.

El futuro de Comixify

Según el paper publicado por los investigadores (en el que se detalla los pormenores técnicos de esta plataforma), el siguiente paso de los investigadores consistirá en añadir nuevas funciones como una composición de página personalizada (en lugar de la actual plantilla) o el reconocimiento de voz para añadir bocadillos y anotaciones de texto a los cómics.