A General framework for parameter learning with regularization
Carregando...
Arquivos
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Tese de doutorado
Título alternativo
Um paradigma geral para aprendizagem de parâmetros sequencial com regularização
Primeiro orientador
Membros da banca
Ivair Ramos Silva
Thiago Rezende dos Santos
Sokol Ndreca
Felipe Carvalho Álvares da Silva
Reinaldo Antônio Gomes Marques
Thiago Rezende dos Santos
Sokol Ndreca
Felipe Carvalho Álvares da Silva
Reinaldo Antônio Gomes Marques
Resumo
In this thesis we introduce a novel framework for sequential parameter learning in Hidden Markov models capable of accommodating several other algorithms found in the literature as special cases. This generality is achieved mainly by providing an alternative formalism to the role of regularization in this setting. In order to illustrate the flexibility allowed by this framework, we develop three novel algorithms, including an improved and fully-adapted version of the celebrated Liu and West filter. By also considering more efficient resampling schemes, we illustrate that in some cases the poor performance of sequential parameter learning algorithms previously observed in the literature can mostly be attributed to the inherent path degeneracy in these methods, which we actively aim to mitigate. Crucially, we also provide evidence that the parameter learning algorithms discussed here can provide estimates that are compatible with state-of-the-art computationally intensive algorithms, such as particle Markov Chain Monte Carlo.
Abstract
Nessa tese é introduzido um novo paradigma de aprendizagem de parâmetros sequencial em modelos de Markov ocultos, capaz de acomodar vários outros algoritmos encontrados na literatura como casos particulares. Essa generalidade é possível principalmente devido à um formalismo alternativo para regularização nesses modelos. Para ilustrar a flexibilidade do novo paradigma, foram desenvolvidos três novos algoritmos, incluindo uma versão melhorada e completamente adaptada do clássico filtro de Liu e West. Considerando também esquemas de reamostragem mais eficientes, é ilustrado que em alguns casos o desempenho inadequado de alguns algoritmos de aprendizagem de parâmetros sequencial previamente observado na literatura pode em sua maioria ser atribuído à degeneração de caminhos inerente à esses métodos, degeneração essa que a metodologia proposta ativamente busca mitigar. Destaca-se também que é fornecida evidência de que os algoritmos para aprendizagem de parâmetros discutidos aqui podem fornecer estimativas compatíveis com algoritmos computacionalmente intensivos e que compõem o estado da arte dessa literatura, como Monte Carlo via cadeias de Markov baseados em métodos de partículas.
Assunto
Estatística – Teses, Inferência bayesiana – Teses, Monte Carlo, Método de. - Teses, Markov, processos de. - Teses
Palavras-chave
Inferência Bayesiana, Métodos de Monte Carlo sequenciais, Modelos de Markov ocultos, Bayesian inference, Sequential Monte Carlo methods, Hidden Markov models