Iracema: from note onset detection challenges towards an audio content analysis library for the empirical study of music performance

Abstract

Os primeiros estudos empíricos em performance musical datam do final do século XIX, quando foram criados os primeiros dispositivos mecânicos capazes de gravar as ações de pianistas no instrumento (o pressionar das teclas). Desde então, várias tecnologias que abrem novas possibilidades de coleta de dados de performances musicais foram inventadas ou aprimoradas, incluindo técnicas de extração de informação a partir do sinal de áudio. Tais técnicas, que se aprimoraram em ritmo acentuado ao longo das últimas décadas, impulsionadas pelo rápido desenvolvimento das mais diversas áreas correlatas à computação, são o foco do presente trabalho. Propomos aqui uma nova biblioteca de software chamada Iracema, que contém técnicas para a extração de padrões temporais, de energia, e conteúdo espectral, a partir de gravações de áudio monofônicas. Escolhemos a clarineta como o instrumento a ser utilizado nos experimentos de referência e modelos propostos, mas a maior parte das técnicas aqui apresentadas pode ser aplicada a outros instrumentos monofônicos. Um dos passos mais importantes no estudo de performances musicais é a detecção dos instantes de \textit{onset} (início) das notas musicais, já que a nossa percepção rítmica (temporal) está fortemente associada a tais instantes. A este assunto dedicamos atenção especial, e propomos uma interface \textit{web} para a anotação manual precisa dos instantes de onset, além de realizar um experimento para avaliar o erro típico de anotação neste tipo de tarefa, para gravações de clarineta. Também propomos uma base de dados anotada contendo aproximadamente 23 minutos de áudio tocados na clarineta, contendo um total de 3551 onsets. Utilizando esta base de dados, treinamos uma rede neuronal convolucional para obter um modelo para detecção automática de onsets especificamente em gravações de clarineta, e comparamos os seus resultados com os de outros modelos. Por fim, exemplificamos e demonstramos o uso da biblioteca proposta por meio de um estudo de caso, envolvendo a análise de gravações de um excerto de uma peça, tocada por vários clarinetistas.