Un equipo europeo de investigadores, con participación de la Universidad Politécnica de Madrid, ha desarrollado MixedEmotions, un conjunto de herramientas en código abierto capaces de analizar emociones en texto, audio y vídeo. El kit está adaptado a varios idiomas europeos para reconocer el panorama multicultural y plurilingüe de la tecnología actual.
MixedEmotions Toolkit es un conjunto de herramientas de libre disposición que pone el análisis de emociones al alcance de cualquier investigador o desarrollador. Esta toolbox es el resultado de MixedEmotions, un proyecto de investigación en el que ha participado la Universidad Politécnica de Madrid (UPM) en un consorcio con empresas, universidades y centros de investigación de distintos países europeos- e incluye funcionalidades para el procesamiento de texto, audio y vídeo con el objetivo de reconocer de manera automatizada las emociones.
Las emociones son una parte esencial de nuestra existencia. Nuestras acciones se ven afectadas tanto por nuestro estado anímico, como por el estado que percibimos en los demás. Por tanto, no es de extrañar la creciente demanda de análisis automatizado de emociones en diferentes campos. Las aplicaciones de esta tecnología son muy variadas, incluyendo call centers, entornos inteligentes, análisis de reputación online y tecnologías de asistencia. Sin embargo, existen varias barreras en la adopción de estas tecnologías.
Por un lado, las herramientas de análisis pueden ser bastante complejas. A veces la detección de emociones requiere cierto análisis previo, como la detección de edad y género en audio, o el reconocimiento facial en vídeo. El análisis también necesita de una serie de conocimientos previos y recursos lingüísticos, que no siempre son públicos.
Por último, las herramientas proporcionadas suelen estar diseñadas para un idioma concreto, generalmente el inglés. Adaptar las herramientas a otros idiomas es una tarea ardua, que requiere la existencia de recursos específicos en ese idioma. La combinación de estos problemas hace que el abanico de herramientas de libre disposición sea bastante limitado.
Ampliar ese conjunto de herramientas ha sido, precisamente, el objetivo del proyecto MixedEmotions, un proyecto financiado por el programa Horizonte 2020 en el que ha participado el Grupo de Sistemas Inteligentes (GSI) de la UPM. Las herramientas desarrolladas están adaptadas a varios idiomas europeos, en un intento de reconocer el panorama multicultural y plurilingüe de la tecnología actual.
Para demostrar la utilidad de las herramientas, se han aplicado en tres escenarios diferentes: una aplicación para TV inteligente que utiliza emociones para recomendar contenido; un sistema de monitorización de call centers, que monitoriza el estado anímico y la reacción de los clientes en cada llamada, y un sistema de análisis de reputación online para empresas, que permite estudiar la opinión y respuestas del público ante empresas o productos concretos.
Importancia de los datos enlazados
El grupo GSI ha realizado diversas contribuciones al proyecto. En primer lugar, ha liderado el modelado de datos enlazados para los servicios y la creación de vocabularios semánticos. Como resultado, todas las herramientas del proyecto utilizan este tipo de vocabularios y se basan en los principios de datos enlazados. Esto permite que sean interoperables, ya que se realizan análisis en varias modalidades utilizando técnicas de fusión.
“Dada la importancia de este tema -señala Fernando Sánchez, uno de los investigadores del GSI que ha participado en el proyecto- creamos un grupo comunitario en el World Wide Web Consortium (W3C) -una comunidad internacional que desarrolla estándares que aseguran el crecimiento de la Web a largo plazo- para discutir este modelado semántico y difundir los resultados”.
En segundo lugar, el grupo ha desarrollado un software, llamado Senpy, que facilita la creación y publicación de servicios y herramientas de análisis de emociones, centrada sobre todo en análisis en texto. Por último, el grupo ha estudiado la mejora del análisis de sentimientos mediante la utilización de contexto social, es decir, información adicional sobre el usuario, el contenido, y las diferentes relaciones en las redes. El resultado de este estudio es la creación de la herramienta Scaner, que permite la extracción y análisis del contexto social de usuarios y contenido en Twitter.
Además de la UPM, en este proyecto han participado socios de Irlanda (National University of Ireland Galway y Siren Solutions), Alemania (Deutsche Welle y University of Passau), España (Paradigma Digital), Italia (Expert Systems) y la República Checa (Phonexia y Brno University of Technology).
Referencia bibliográfica:
Buitelaar, Paul; Wood, Ian D.; Negi, Sapna; Arcan, Mihael; McCrae, John P.; Abele, Andrejs; Robin, Cecile; Andryushechkin, Vladimir; Ziad, Housam; Sagha, Hesam; Schmitt, Maximilian; Schuller, Bjoern W.; Fernando Sanchez-Rada, J.; Iglesias, Carlos A.; Navarro, Carlos; Giefer, Andreas; Heise, Nicolaus; Masucci, Vincenzo; Danza, Francesco A.; Caterino, Ciro; Smrz, Pavel; Hradis, Michal; Povolny, Filip; Klimes, Marek; Matejka, Pavel; Tummarello, Giovanni. MixedEmotions: An Open-Source Toolbox for Multimodal Emotion Analysis. IEEE TRANSACTIONS ON MULTIMEDIA 20 (9): 2454-2465. DOI: 10.1109/TMM.2018.2798287. SEP 2018.