Labios y voz perfectamente sincronizados en las películas dobladas: eso prometen los deepfakes de esta compañía

Aunque normalmente asociamos los deepfakes a cosas un tanto turbias y a los memes, lo cierto es que esta interesante tecnología puede tener usuarios potencialmente interesantes (más allá de poner a Elon Musk a cantar 'Never gonna give you up'). Uno de estos casos de uso es el que propone Flawless AI con su sistema TrueSync, un modelo de deepfakes que promete sustituir los labios de los actores para hacer que su movimiento esté sincronizado con el doblaje.

Según explican desde la compañía, su inteligencia artificial es capaz de crear "visualizaciones perfectamente sincronizadas con los labios en varios idiomas". El resultado final es muy interesante, al menos en los vídeos de prueba que ha publicado la empresa. No solo porque modifica los labios, sino porque la tecnología, aparente, es capaz de conservar las expresiones faciales del actor.

Del inglés al español y sin que se note

Doblaje de 'Forrest Gump' al español.

Doblaje de 'Forrest Gump' al japonés.

Tal y como podemos ver en el vídeo de presentación, lo que TrueSync hace es analizar la cara del actor, detectar el movimiento de la misma, renderizar la cara mediante redes neuronales y aplicarla encima de la cara del actor. Es, digamos, una especie de máscara. El sistema lleva años en desarrollo y no fue hasta hace tres días que la empresa lo lanzó de forma comercial.

En los vídeos sobre estas líneas podemos ver dos clips de la película 'Forrest Gump', donde aparece un muy joven Tom Hanks. La película original está grabada en inglés, pero en los vídeos podemos verla doblada al español y al japonés. El resultado es bastante bueno y convincente, no cabe duda, pero hay algunos aspectos que delatan que es un montaje.

Puede apreciarse en los dientes de Tom Hanks cuando el plano se cierra (a partir del minuto 1:50) y cuando se le cae la lágrima casi al final del vídeo. Aunque esta cae hasta los labios sin problema, cuando Hanks vuelve a hablar, la máscara tiene un pequeño fallo que hace que la lágrima se expanda por todo el labio superior y que el labio inferior se deforme.

Como toda tecnología, cabe esperar que mejore con el paso del tiempo. Ahora tocará esperar para ver si, finalmente, se abre camino en productos comerciales para la gran y pequeña pantalla. Todo sea dicho, esto no es algo estrictamente nuevo, ya que a su manera lo vimos funcionando en 'Cyberpunk 2077'. Dicho juego cuenta con un sistema de IA que sincroniza los labios de los personajes con sus diálogos en diez idiomas distintos.

Vía | Gizmodo