Esta IA solo necesita un garabato de una cara para crear un retrato fotorrealista

La inteligencia artificial es capaz de muchas cosas. Lo mismo intenta predecir el aspecto del Cybertruck de Tesla (con mayor o menor acierto) que intenta encontrar bombas ocultas o recrear Pac-Man desde cero. Las posibilidades son virtualmente ilimitadas. Ya existen sistemas de IA capaces de recrear caras de personas que no existen, pero unos investigadores chinos han desarrollado un sistema que va un poco más allá: recrea caras a partir de un garabato.

Esta tecnología ha recibido el nombre de DeepFaceDrawing (PDF) y su funcionamiento es de lo más interesante. Ya existen tecnologías capaces de recrear retratos, como Pix2pix o iSketchNFill, pero los resultados son bastante pobres. DeepFaceDrawing produce imágenes realistas que, además, se generan en tiempo real y se van modificando conforme se añaden detalles al boceto.

De un trazo a una foto de alguien que no existe

Este sistema de deep learning consta de tres módulos principales: CE (Component Embedding), FM (Feature Mapping) e IS (Image Synthesis). CE adopta una arquitectura de auto codificador y aprende por separado los grandes rasgos de una cara: el ojo izquierdo, el derecho, la nariz, la boca y "el resto". FM e IS crean una subred de aprendizaje profundo que convierten los vectores en imágenes. Es decir, que la red está formada por dos subredes.

El módulo CE convierte los bocetos de los componentes (la nariz, ojos, barbilla) en vectores de características semánticamente significativas. FM convierte estos vectores en mapas de características individuales que se combinan según la estructura de la cara (los ojos arriba, la nariz centrada, la boca abajo...) y, finalmente, pasan al módulo IS, que sintetiza la imagen final. Es lo que se representa en el esquema superior.

La red fue entrenada con un lote de 17.000 pares de imágenes (bocetos e imágenes de caras), de las cuales 6.247 eran de hombres y 11.456 de mujeres. Con la red entrenada, los desarrolladores crearon una interfaz gráfica que permite hacer los garabatos y, sobre la marcha, "dibujar" el retrato. Es curioso cómo conforme se añaden más detalles (pelo corto, forma de las cejas, grosor de labios...) la IA va modificando el retrato para mantenerlo fiel al boceto. Además, la interfaz tiene unos controladores que permiten modificar los cinco rasgos faciales a placer.

Para poner a prueba los resultados, los investigadores llevaron a cabo un estudio de usabilidad con diez participantes. Estos calificaron sus habilidades de dibujo, resultando en cuatro novatos, cuatro avanzados y dos profesionales. Cada uno hizo diferentes bocetos en el sistema para generar un retrato y, como se puede comprobar en la imagen inferior, a mayor nivel de detalle en el boceto, más preciso es el retrato final.

Los investigadores opinan que su sistema tiene potencial para los procesos de transformación de caras (combinar dos fotos para que una emule los gestos de la otra), que por norma general requieren de imágenes con un alto grado de correspondencia. Con esta IA, al menos sobre el papel, sería tan sencillo como dibujar el gesto a mano alzada.

Aseguran, además, que su sistema está especialmente diseñado para crear rostros basándose en la estructura fija de una cara, pero que adaptarlo a otras categorías (como objetos del día a día) es un "problema desafiante". Salvando las distancias, ya hay tecnologías que permiten hace algo parecido, como el sistema de NVIDIA que es capaz de generar paisajes fotorrealistas a partir de un boceto.

Vía | SyncedReview