Los gestos y movimientos de un músico son de suma importancia para el resultado final de su interpretación. Por eso, aquellos profesionales más interesados en mejorar su técnica, a los que no les basta con ser "bastante buenos", recurren en ocasiones a las tecnologías de captura de movimiento, capaces de detectar con precisión sus detalles gestuales.
Pero ahora dos investigadores, David Dalmazzo y Rafael Ramírez, miembros del Music and Machine Learning Lab de la Universidad Pompeu Fabra, han llevado esta técnica un paso más allá gracias a la inteligencia artificial, usándola para llevar a cabo una clasificación automática de las técnicas de arco a partir de los movimientos de un violinista.
En este caso, la captura de movimiento se realizó gracias a un brazalete de control por gestos Myo, para registrar los movimientos del brazo derecho de un violinista profesional.
"Grabamos datos de movimiento y audio correspondientes a siete técnicas de arco representativas (Détaché, Martelé, Spiccato, Ricochet, Sautillé, Staccato y Bariolage) [...]. Obtuvimos información del movimiento inercial desde el antebrazo derecho y lo sincronizamos con grabaciones de audio".
Un sistema identifica las técnicas de arco en la interpretación de violín con un 94 % de precisión
Los algoritmos de machine learning son los encargados de comparar los movimientos del brazo con el audio correspondiente, permitiendo determinar qué movimiento generan cada sonido, dentro de cada una de las técnicas. "Nuestros hallazgos ya han sido generalizados a otros instrumentos musicales y aplicados en entornos de educación musical", añade Rafael Ramírez, investigador principal del proyecto.
El modelo desarrollado puede identificar las siete técnicas de interpretación citadas con una precisión superior al 94%, lo que permite que los estudiantes de violín pueden beneficiarse en tiempo real del feedback que proporciona este sistema, así como permitirles comparar sus interpretaciones con las de expertos de primer nivel y saber en qué difieren sus propios movimientos de los de ellos.
Este estudio, publicado recientemente en la revista Frontiers in Psychology, se ha llevado a cabo en el marco del proyecto TELMI (Technology Enhanced Learning of Musical Instrument Performance), cuyo propósito es investigar el modo en que la tecnología (sensores, datos multimodales, inteligencia artificial, y sistemas computacionales) pueden mejorar las prácticas de los estudiantes de música, ayudándolos a concentrarse en el desarrollo preciso de los buenos hábitos.
En su 'paper', los investigadores hablan del Internet de las Cosas Musicales (IoMusT) como "un campo emergente" y "extensión de la Internet de las Cosas (IoT)", en el que "los nuevos modelos que utilizan dispositivos portátiles basados en magnetómetros, giroscopios y acelerómetros, conjuntamente con algoritmos de aprendizaje automático se reportan como soluciones eficientes y de bajo coste para el análisis de movimiento del cuerpo y la información gestual".
