Learning nonlinear differentiable models for signals and systems: with applications

Abstract

Construir modelos empíricos a partir de dados é de fundamental importância em engenharia e, além disso, o entendimento e a capacidade de modelar sistemas não lineares são necessários para o desenvolvimento de tecnologias de fronteira. Nesse trabalho, modelos diferenciáveis não lineares e suas aplicações são estudados. Esta classe de modelos tem ganhado força na área de aprendizado de máquina com a introdução do aprendizado profundo. De fato, modelos profundos de componentes diferenciáveis alcançaram, recentemente, desempenho superior ao humano em diversas tarefas, incluindo a competição em jogos digitais, classificação de imagens e diagnóstico de exames médicos. A aplicação de modelos não lineares diferenciáveis é estudada para modelar sinais e sistemas, tanto no contexto de aplicações em engenharia quanto no contexto de aprendizado de máquina. Uma questão central é o papel da recorrência, e os prós e os contras de modelos recorrentes. A questão é abordada de mais de um ângulo: 1) estudando o efeito da recorrência em redes neurais em termos da robustez a ruído, custo computacional e convergência; 2) analisando a suavidade da função de custo na identificação de sistemas não lineares e a relação com a dinâmica interna do modelo – e propondo o uso da técnica de múltiplos tiros para melhorar a suavidade da função custo; e, 3) investigando a relação entre dinâmica interna, atractores e expressividade do modelo em redes neurais recorrentes. A parte mais aplicada desta tese consiste no uso de redes neurais profundas para resolver tarefas complexas e modelar comportamento não linear a partir de dados reais. Dados do Centro de Telessaúde do estado de Minas Gerais são usados para treinar uma rede neural capaz de identificar abnormalidades no eletrocardiograma com desempenho superior ao de residentes de medicina no cenário estudado. Além disso, uma rede neural profunda é usada para modelar um oscilador eletrônico e uma aeronave F-16 usando dados de um ensaio de vibrações, obtendo resultados competitivos nos dois casos.