Desarrollo de un modelo de elicitación de emociones a partir de las características de la música

Título:

Desarrollo de un modelo de elicitación de emociones a partir de las características de la música: generación de un sistema recomendador

Autor:

Ospitia Medina, Yesid

Otros autores / Colaboradores:

 Baldassarri, Sandra; [ Director/a]  Beltrán, José Ramón; [ Codirector/a]  Sanz, Cecilia Verónica; [ Asesor/a de tesis] 

Temas:

APRENDIZAJE AUTOMÁTICO; 

URL:

https://doi.org/10.35537/10915/164064,

Palabras clave:

música, computación afectiva, 

Nota de tesis:

Tesis (Doctorado en Ciencias Informáticas) - Universidad Nacional de La Plata. Facultad de Informática, 2024.

Extensión:

1 archivo (4,1 MB) : il. col.

Resumen:

La computación afectiva, como área de investigación, ha logrado un importante desarrollo en los últimos años. Las actuales investigaciones han demostrado su utilidad, permitiendo medir la intensidad de las emociones a través de la tecnología, y con estos resultados implementar acciones que permitan crear beneficios para la humanidad en diferentes contextos. Uno de estos casos particulares, apuntan al estudio de la música y su relación con las emociones. Esta Tesis tiene como objetivo general el diseño de un sistema recomendador musical basado en emociones. Para abordar este objetivo se analizan las diferentes disciplinas científicas involucradas en el reconocimiento de emociones en la música. Primero, se lleva a cabo un estudio de conceptos relevantes tanto vinculados al área de identificación de emociones, con técnicas propias de computación afectiva, como en relación a las técnicas para el diseño de sistemas de predicción y de clasificación basados en machine learning. Al mismo tiempo, se identifican características intrínsecas y extrínsecas de piezas musicales. Se lleva adelante un proceso de revisión de la literatura sobre librerías de alto nivel, dataset musicales y trabajos en relación con sistemas de predicción, clasificación, y de recomendación de música. Asimismo, se revisan antecedentes en relación a sesgos que pueden intervenir en el proceso de recomendación de piezas musicales. Así, se identifica la importancia de diseñar un nuevo dataset musical, con algunas características novedosas, como lo son la inclusión de obras completas y originales de artistas noveles, y el etiquetado emocional sobre la variación temporal de la canción en relación con la estructura musical, para ello se utilizan series temporales. El desarrollo y diseño de este dataset, denominado ENSA (Emotional Non-Superstar Artist-Dataset), constituye uno de los aportes fundamentales de la Tesis. Posteriormente, se diseña un sistema recomendador híbrido, basado en el filtrado emocional, filtrado basado en contenido, y filtrado basado en similaridad. La propuesta hace uso de un modelo de machine learning para el reconocimiento de emociones a través de un sistema de etiquetado dimensional de valence y arousal. El nuevo dataset y las estrategias de agrupamiento por similaridad implementadas por el sistema recomendador, como otras medidas adicionales que se detallan en el desarrollo de esta Tesis, también permite dar un tratamiento al efecto de la popularidad, que generalmente aparece a través de un sesgo preexistente, que no solo afecta a oyentes, sino que también tiene un alto impacto en los artistas y sus posibilidades de desarrollo en la industria de la música. Estos últimos aportes se alinean con los objetivos propuestos en la Tesis y que se han alcanzado en su totalidad. En cuanto al trabajo futuro, se resalta la importancia de continuar profundizando en las siguientes tres líneas: el dataset ENSA, el sistema recomendador, y el estudio de sesgos. Con respecto al dataset, es importante seguir avanzando en la inclusión de nuevas canciones, como también en la definición e inclusión de nuevas etiquetas que permitan llevar a cabo experimentos novedosos. En cuanto al sistema recomendador, se propone extender su funcionalidad incluyendo otras partes de la estructura musical (coro, puentes, solos) en las estrategias de recomendación. Y, finalmente, en relación a los sesgos, se propone identificar y analizar la aparición de nuevos sesgos (aquellos que clasifican como emergentes), y tanto desde el dataset ENSA, como desde las estrategias de recomendación, proponer nuevos tratamientos que permitan mitigar sus efectos.

Puede solicitar más fácilmente el ejemplar con: TES 24/01

1 Introducción 
1.1 Contexto 
1.2 Motivación
1.3 Objetivos 
1.4 Preguntas que orientan la investigación 
1.5 Metodología de la investigación
1.6 Estructura de la Tesis 
1.7 Sobre el uso del masculino gramatical inclusivo 

2 Fundamentación teórica 
2.1 Las emociones en la música 
2.2 Medida y caracterización de emociones en la música 
2.3 Modelos emocionales y percepción 
2.4 Analizadores de contenido en el sonido 
2.5 Librerías de alto nivel para MER 
2.6 Predicción de valores con machine learning 
2.7 Clasificación no determinística con Fuzzy 
2.8 Clasificación determinística con machine learning
2.9 Sistemas recomendadores musicales 
2.10 Sesgos en sistemas recomendadores 
2.11 Conclusiones 

3 Estado del arte
3.1 Librerías de alto nivel para la extracción de características musicales 
3.1.1 Spotify API
3.1.2 jMIR 
3.1.3 AcousticBrainz 
3.1.4 OpenSMILE 
3.1.5 Consideraciones generales 
3.2 Datasets musicales 
3.2.1 Revisión de Datasets 
3.2.2 Limitaciones relevantes
3.3 MediaEval Dataset 
3.4 Sistemas de predicción 
3.5 Sistemas no deterministicos (Fuzzy) 
3.6 Sistemas de clasificación deterministicos
3.7 Sistemas recomendadores musicales 
3.8 Tratamiento de sesgos en MRS 
3.9 Conclusiones 

4 Implementación de sistemas para el reconocimiento de emociones en
la música 
4.1 Sistema de predicción de emociones
4.1.1 Diseño del sistema 
4.1.2 Experimentos y resultados de los modelos
4.1.3 Consideraciones acerca del primer prototipo
4.2 Sistema de clasificación emocional no determinística 
4.2.1 Fusificación de los antecedentes (Entradas) 
4.2.2 Desfusificación de los consecuentes (Salidas) 
4.2.3 Reglas fuzzy (Inferencia)
4.2.4 Experimentos y resultados del sistema 
4.2.5 Consideraciones acerca del segundo prototipo
4.3 Sistema de clasificación emocional determinística 
4.3.1 Pre-procesamiento de datos 
4.3.2 Clasificación con Linear SVM, RandomForest y MLP 
4.3.3 Clasificación considerando One vs rest scheme 
4.3.4 Clasificación emocional a lo largo del tiempo
4.3.5 Experimentos y resultados de los modelos
4.3.6 Consideraciones del tercer prototipo 
4.4 Conclusiones 

5 Diseño del dataset musical: Emotional Non-Superstar Artist-Dataset
(ENSA) 
5.1 Preparación del dataset 
5.2 Definición del contenido del dataset
5.3 Análisis del dataset 
5.4 Conclusiones 

6 Desarrollo de un sistema de recomendación musical 
6.1 Diseño del sistema 
6.2 Experimentos y resultados
6.2.1 Resultados con métricas de similaridad 
6.2.2 Resultados con estrategias de agrupamiento
6.3 Conclusiones 

7 Conclusiones y trabajos futuros
7.1 Conclusiones 
7.1.1 Conclusiones en relación a los objetivos 
7.1.2 Conclusiones que responden a las preguntas
7.2 Implicaciones prácticas 
7.3 Producción científica
7.4 Limitaciones del estudio 
7.5 Futuras líneas de trabajo

A. Fundamentos de teoría musical
B. Experimento con AcousticBrainz 
C. Cuadro comparativo de librerías de alto nivel 
D. Análisis del sistema de etiquetado en MediaEval

Bibliografía