Dentro de los estudios sobre la interacción hombre-máquina, investigadores de la Universidad Pompeu Fabra han analizado un caso concreto: el papel que desempeña la intuición humana para dirigir una orquesta. Los resultados revelan las ventajas de usar un sistema personalizado que aproveche esa intuición, que todavía no ha conseguido la inteligencia artificial, a la hora de interpretar la música.
Miembros del Grupo de Investigación en Tecnología Musical (MTG) de la Universidad Pompeu Fabra (UPF) han descrito las ventajas de usar un sistema personalizado que aproveche la intuición de los usuarios al interpretar música. El estudio se publica en la revista Frontiers in Digital Humanities.
Este trabajo se enmarca dentro del proyecto europeo PHENICX, cuyo objetivo es crear nuevas experiencias digitales para enriquecer lo que se vive en un concierto de música clásica (antes, durante y después del propio concierto) desde distintos ámbitos, con la finalidad de acercar la música clásica a nuevas audiencias de una manera innovadora y a través de la tecnología.
“Una de las aplicaciones que investigamos en el contexto posterior a un concierto fueron un tipo de instalaciones en que el usuario toma el rol de director de orquesta, de manera que con sus movimientos 'dirige' una orquesta virtual. Este tipo de instalaciones han tenido éxito en lugares como por ejemplo la House of Music de Viena”, comenta Álvaro Sarasúa, primer autor de un trabajo publicado el 25 de febrero en la revista Frontiers in Digital Humanities, dirigido por Emilia Gómez, ambos miembros del MTG de la UPF, conjuntamente con Julián Urbano, investigador de la Universidad Tecnológica de Delft (Holanda).
En la interacción hombre-computadora, las metáforas de interfaz proporcionan a los usuarios una manera de interactuar con la máquina que se asemeja a una actividad conocida y que son ampliamente utilizadas en instrumentos musicales digitales. En este estudio los autores utilizaron la metáfora del director de orquesta. El interés en usar estas metáforas radica en que el usuario puede aplicar en un nuevo contexto virtual (en este caso, una instalación donde va a controlar el tempo y dinámica al que toca una orquesta) su conocimiento o sus intuiciones previas sobre cómo funciona determinada actividad del mundo real (en este caso, la dirección de orquesta).
“Desde el punto de vista de investigación, en este trabajo nuestro interés fue determinar de qué manera las nociones intuitivas de que disponen los usuarios de este tipo de instalaciones pueden ser explícitamente utilizadas por el sistema para responder a sus gestos de dirección de orquesta de una manera más intuitiva y, por tanto, pueda facilitar una interpretación más expresiva”, comenta Sarasúa.
En las fases iniciales del proyecto, los investigadores llevaron a cabo estudios observacionales donde pidieron a personas con distinta formación musical que escuchasen varios fragmentos de música clásica y a continuación efectuasen, mientras sonaba nuevamente la música, los movimientos que ellos habrían realizado dirigiendo una orquesta para comunicar varios aspectos de la misma como por ejemplo el tempo y la intensidad. Se grabaron los movimientos de los participantes mediante una cámara Kinect, la cual registró la posición de varios puntos del cuerpo.
El análisis de estos datos reveló que en las personas se podían observar distintas tendencias. Por un lado, para comunicar el tempo de la música, había personas que de manera consistente comunicaban la pulsación con cierto adelanto sobre la pulsación de la música, mientras que otras lo hacían en total sincronía o con cierto retraso. En cuanto a la dinámica con la que tocaban los instrumentos, algunas personas tendían a hacer movimientos más enérgicos en las partes forte, mientras que otras simplemente elevaban más los brazos.
A partir de estas observaciones, “nuestra hipótesis de partida para este trabajo fue que un sistema que permite controlar el tempo y volumen de una pieza musical mediante movimientos que imitan los de un director puede resultar más intuitiva si es capaz de adaptarse a estas tendencias personales”, explica Sarasúa
Los autores se refieren a esta estrategia como de Mapeo mediante observación, ya que el mapeo, o la manera en que los movimientos del usuario se conectan a la música resultante, se adapta específicamente para cada usuario observando lo que éste hace cuando se le pide que realice movimientos imitando a un director de orquesta sin dar ninguna instrucción concreta.
En la evaluación del sistema, los investigadores contaron con 24 participantes que actuaron, en primer lugar con un sistema base que no se adaptaba a cada usuario y luego con el sistema basado en la estrategia de mapeo, y se compararon los resultados. Esta comparación se realizó en un contexto en que el usuario aprendía a dirigir la orquesta virtual mediante práctica. Los dos sistemas se compararon en base a medidas objetivas y subjetivas sobre una serie tareas en las cuales los participantes tenían que hacer que la orquesta fuese tocando a distintos volúmenes y hacerlo en sincronía con un metrónomo a distintos tempos.
Los resultados del experimento han mostrado que la usabilidad del sistema personalizado es mejor, tanto en términos de proveer un control más intuitivo de la dinámica con la que el usuario toca la orquesta, como en términos de tener un control más preciso sobre el tempo. Así mismo, los resultados muestran también una fuerte correlación entre las medidas que pueden extraerse de los datos utilizados para realizar la adaptación y la mejora introducida por el sistema, lo que indica que es posible estimar de antemanohasta qué punto los movimientos espontáneos de un usuario en particular serán realmente útiles para adaptar el sistema a su estilo.
Las conclusiones de este trabajo son particularmente relevantes en contextos donde se diseña una interacción a partir del uso de metáforas, como en este caso es la del director de orquesta. “En el ejemplo de nuestro experimento, hay una ventaja “implícita” al usar la metáfora, en tanto que al decirle al usuario que debe “dirigir” la orquesta ya sabe que tendrá que mover sus brazos y tiene una intuición de que podrá controlar el tempo y dinámica. Mediante el sistema propuesto, esta mejora es además “explícita”, en tanto que el sistema observa y analiza lo que el usuario intuye que debe hacer y se adapta para funcionar de acuerdo a esas intuiciones”, concluyen los autores.
Referencia bibliográfica:
Álvaro Sarasúa, Julián Urbano, Emilia Gómez (2019), “Mapping by Observation: Building a User-Tailored Conducting System From Spontaneous Movements”, Frontiersin Digital Humanities, 25 de febrero, vol. 6, 3, https://doi.org/10.3389/fdigh.2019.00003
PHENICX es un proyecto del 7º Programa Marco de la Comisión Europea coordinado por Emilia Gómez, investigadora del Grupo de Investigación en Tecnología Musical (MTG) del Departamento de Tecnologías de la Información y las Comunicaciones (DTIC) de la UPF.
La Fundación BBVA ha galardonado al informático japonés, de la Universidad Carnegie Mellon (EE UU), por crear los algoritmos que permiten a las máquinas comprender las imágenes y procesar los movimientos. Sus técnicas están presentes en los coches autónomos, los drones y todos los robots con capacidad de visión, como los que se usan en cirugía.
Investigadores de la Universidad de León han aplicado redes neuronales artificiales a imágenes captadas con drones para reconocer, con un 95 % de acierto, la huella que dejaron las explotaciones auríferas de los romanos en el noroeste peninsular. El sistema se puede aplicar para reducir los riesgos asociados a las minas abandonadas, que causan pérdidas humanas y económicas en todo el mundo.
