Bayesian optimization with a prior for the optimum
Carregando...
Arquivos
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Tese de doutorado
Título alternativo
Otimização bayesiana com prior para o ótimo
Primeiro orientador
Membros da banca
Gisele Lobo Pappa
Ricardo Bastos Cavalcante Prudencio
Eduardo Alves do Valle Junior
Heitor Soares Ramos Filho
Ricardo Bastos Cavalcante Prudencio
Eduardo Alves do Valle Junior
Heitor Soares Ramos Filho
Resumo
Bayesian Optimization (BO) is a data-efficient tool for the joint optimization of design choices that is gaining great popularity in recent years. BO has impacted a wide range of areas, ranging from ML hyperparameter optimization to serial crystallography. However, while BO has become a popular method for optimizing expensive black-box functions, it fails to leverage the experience of human domain experts. Human experts often have intuitions on which regions of the design space are more likely to yield good results, but have no good way to encode this knowledge into BO. This causes BO to waste function evaluations on commonly known bad regions of design choices, slowing down convergence. To address this issue, we introduce Bayesian Optimization with a Prior for the Optimum (BOPrO). BOPrO allows users to inject their knowledge into the optimization process in the form of priors about which parts of the input space will yield the best performance, rather than BO's standard priors over functions which are much less intuitive for users. BOPrO then combines these priors with BO's standard probabilistic model to yield a pseudo-posterior distribution on good regions of the design space. We evaluate BOPrO on a suite of synthetic benchmarks, specially tailored to evaluating BO methods, and show that BOPrO is more sample e cient
than state-of-the-art methods without user priors, previous approaches that support prior injection, and 10,000x faster than random search. We also compare BOPrO to the state-of-the-art on a real-world hardware design application with priors provided by a human application expert and once again show that BOPrO sets a new state-of-the-art performance. We also perform a series of ablation studies showing that BOPrO converges faster even if the user priors are not entirely accurate and that it robustly recovers from misleading priors.
Abstract
Otimização Bayesiana (Bayesian Optimization – BO) é uma ferramenta eficiente para a otimização de decisões de projeto que tem ganhado grande popularidade nos últimos anos. BO tem impactado uma vasta gama de áreas, de aprendizado de máquina à cristalografia serial. Porém, embora BO seja um método popular para a otimização de funções caixa-preta, BO não é capaz de aproveitar da experiência de especialistas humanos no processo de otimização. Especialistas humanos frequentemente têm intuições sobre quais regiões do espaço de busca tem maior chance de trazer bons resultados, porém, não tem suporte apropriado para injetar esse conhecimento na BO. Isso faz com que BO desperdice avaliações da função em regiões sabidamente ruins do espaço de busca, desacelerando a convergência. Para tratar esse problema, n´os introduzimos Bayesian Optimization with a Prior for the Optimum (BOPrO). BOPrO permite que usuários injetem seu conhecimento no processo de otimização na forma de priors de quais regiões do espaço de busca levarão `a melhor performance, no lugar dos priors sob funções tradicionais de BO, que são muito menos intuitivos para usuários. BOPrO então combina esses priors com o modelo probabilístico tradicional de BO para construir uma distribuição pseudo-posterior de boas regiões do espaço de busca. Nós avaliamos BOPrO em um conjunto de funções sintéticas e demonstramos que BOPrO ´e mais eficiente em número de avaliações do que m´métodos do estado da arte sem priors de usuários, outras abordagens com suporte para injeção de priors e 10,000× mais rápido do que a busca aleatória. N´os também comparamos BOPrO com o estado da arte em uma aplicação real de projeto de hardware com priors providenciados por um especialista humano e mostramos que BOPrO atinge um novo estado da arte. Por fim, demonstramos que BOPrO converge mais rápido mesmo que o prior do usuário não seja perfeitamente preciso e que BOPrO robustamente recupera de priors incorretos.
Assunto
Computação – Teses, Otimização bayesiana – Teses, Aprendizado de máquina – Teses, Markov, Processos de – Teses
Palavras-chave
Bayesian Optimization, Automated machine learning, Gaussian Process