Portal de Eventos CoPICT - UFSCar, XXVII CIC e XII CIDTI

Tamanho da fonte: 
Descoberta de padrões e segmentação em música baseadas em auto-junção por similaridade
Martin Heckmann, Diego Furtado Silva

Última alteração: 2021-02-25

Resumo


Introdução
Com o crescimento do interesse em aplicações relacionadas ao processamento de música, os domínios de recuperação de informação musical e mineração de dados musicais têm atraído muita atenção na academia e na indústria da música. No entanto, a análise de gravações de áudio ainda é um grande desafio, agravado pelo crescente volume de dados relacionados à música, causado pela expansão da distribuição eletrônica de música e serviços de streaming. Nesse cenário, algoritmos de análise musical devem ser eficientes em tempo e espaço.


Objetivo
Desde seu surgimento, o perfil da matriz de similaridade tem sido muito utilizado em outras áreas que não de mineração de dados musicais. A principal hipótese deste trabalho foi que isso se deve ao fato de que as suas aplicações foram pouco exploradas e que o algoritmo para calcular tal primitiva só possuem implementações disponíveis em uma única linguagem de programação, que é pouco utilizada pela comunidade de mineração de dados temporais. Assim, este trabalho visou expandir uma das aplicações do SiMPle, utilizando uma linguagem de programação mais comum no meio em que ela poderá ser utilizada. Além disso, foram tomadas outras ações para maior disseminação dos algoritmos utilizados, como a criação de repositório com demonstrações práticas para divulgação do trabalho realizado.


Metodologia
As atividades realizadas no decorrer do projetos estão enumeradas:

  1. Revisão e atualização bibliográficas. Levantamento dos principais trabalhos relacionados e leitura de matérial bibliográfico relacionado aos conceitos de mineração de dados musicais.
  2. Levantamento e adaptações de implementações de algoritmos de descoberta de motifs e discords. Estudo de implementações de código aberto para estas tarefas.
  3. Implementação dos algoritmos de descoberta de padrões e segmentação utilizando SiMPle. Nessa etapa foram utilizadas implementações obtidas na etapa anterior em conjunto com algoritmos da revisão bibliográfica para as tarefas de segmentação e reconhecimento de segmentos com o algoritmo SiMPle.
  4. Realização de experimentos práticos. Utilizando a implementação como algoritmo SiMPle, foram realizados experimentos práticos com músicas de diferentes genêros e estilos para validação do trabalho realizado.

Resultados
O projeto teve inicio estudando as principais técnicas e conceitos relacionados a extração de informação músical. Estes estudos tiveram como base o livro Musical Similarity and Retrieval An introduction to Audio and Web Bases Strategies . Nele foram estudados conceitos relacionados a música como tempo, timbre e harmônia, e conceitos da recuperação de dados músicais como extratores de contéudo músical, transformações para o domínio da frequência utilizando a Transformada de Fourier, diferentes representações de tempo-frequência (como o espectrograma e o mel-espectrograma) e a extração de similaridade e características músicais em blocos. 

A partir dos estudos teóricos, o projeto seguiu com a implementação de algoritmos de descoberta de padrões musicais e segmentação utilizando o algoritmo SiMPle na linguagem Python. O resultado das implementações sugeriu a necessidade de se utilizar a matriz de similaridade completa, assim o algoritmo SiMPle foi alterado para as necessidades do projeto.


Conclusão
Os principais resultados desse projeto foram a implementação e avaliação dos algoritmos de segmentação e visualização e suas respectivas implementações na linguagem Python. Os resultados obtidos com os experimentos realizados demonstram um funcionamento de acordo com o planejamento inicial.

Palavras-chave


Recuperação de Informação Musical, Junção por Similaridade