Stable Diffusion nos alucinó con sus imágenes. Ahora resulta que también es capaz de generar música

DALL·E 2, Midjourney y sobre todo Stable Diffusion se han convertido en un verdadero fenómeno que ha sacudido el mundo de arte y el diseño y ha permitido a cualquiera generar imágenes sorprendentes gracias a la inteligencia artificial. Las aplicaciones parecían fantásticas en esa disciplina artística, pero unos desarrolladores nos han dado una sorpresa y han ido un poco más allá.

Riffusion. Así se llama el modelo de inteligencia artificial que es una pequeña variación de Stable Diffusion y que genera música. Riffusion ha sido creado "como un hobby) por dos desarrolladores que aprovechan su capacidad para generar unas imágenes muy especiales.

https://www.riffusion.com/about/rock_and_roll_electric_guitar_solo.mp3">Your browser does not support audio.  

Hola, espectrograma. Stable Diffusion no solo puede generar imágenes al estilo de cualquier artista: si uno se lo manda, puede generar curiosos espectrogramas. Estas singulares representaciones del espectro de una señal tienen la particularidad de que se pueden convertir en clips de audio.

Del texto al sonido. Los 'prompts' o descripciones de imagen que le damos a Stable Diffusion acaban por tanto convirtiéndose en música, y como explican los desarrolladores, el procesado de audio se realiza de forma transparente con un modelo basado en Torchaudio que además puede crear "variaciones infinitas" al ir haciendo que la "semilla" —el prompt original— cambie ligeramente.

Pequeños clips que se hacen grandes. Los espectrogramas generan clips de audio de apenas cinco segundos, pero los desarrolladores querían "ritmos infinitos generados por IA".

Para ello lo que hacían era, a partir de un espectrograma inicial, ir variando esa semilla para que la música fluyera de forma continua. Aplicaron además una serie de técnicas para que los espectrogramas fueran demasiado distintos y las transiciones fueran suaves.

Prueba en la web o instálatelo. Los desarrolladores tienen un singular generador de melodías en el sitio web del proyecto, pero el código está disponible en GitHub y solo necesitas un equipo con una GPU decente para generar este tipo de melodías en apenas unos segundos.

No compondrá bandas sonoras, pero... La música creada probablemente no vaya a ganar premios de la crítica, pero una vez más puede ser utilizada como inspiración o "borrador" para el compositor humano, que puede elaborar melodías con o sin letra a partir de ella. Eso sí: Esto plantea una potencial amenaza a la industria musical.