Use este identificador para citar o ir al link de este elemento:
http://hdl.handle.net/1843/54642
Tipo: | Tese |
Título: | Bayesian optimization with a prior for the optimum |
Título(s) alternativo(s): | Otimização bayesiana com prior para o ótimo |
Autor(es): | Artur Luis Fernandes de Souza |
primer Tutor: | Leonardo Barbosa e Oliveira |
primer Co-tutor: | Luigi Nardi |
primer miembro del tribunal : | Gisele Lobo Pappa |
Segundo miembro del tribunal: | Ricardo Bastos Cavalcante Prudencio |
Tercer miembro del tribunal: | Eduardo Alves do Valle Junior |
Cuarto miembro del tribunal: | Heitor Soares Ramos Filho |
Resumen: | Bayesian Optimization (BO) is a data-efficient tool for the joint optimization of design choices that is gaining great popularity in recent years. BO has impacted a wide range of areas, ranging from ML hyperparameter optimization to serial crystallography. However, while BO has become a popular method for optimizing expensive black-box functions, it fails to leverage the experience of human domain experts. Human experts often have intuitions on which regions of the design space are more likely to yield good results, but have no good way to encode this knowledge into BO. This causes BO to waste function evaluations on commonly known bad regions of design choices, slowing down convergence. To address this issue, we introduce Bayesian Optimization with a Prior for the Optimum (BOPrO). BOPrO allows users to inject their knowledge into the optimization process in the form of priors about which parts of the input space will yield the best performance, rather than BO's standard priors over functions which are much less intuitive for users. BOPrO then combines these priors with BO's standard probabilistic model to yield a pseudo-posterior distribution on good regions of the design space. We evaluate BOPrO on a suite of synthetic benchmarks, specially tailored to evaluating BO methods, and show that BOPrO is more sample e cient than state-of-the-art methods without user priors, previous approaches that support prior injection, and 10,000x faster than random search. We also compare BOPrO to the state-of-the-art on a real-world hardware design application with priors provided by a human application expert and once again show that BOPrO sets a new state-of-the-art performance. We also perform a series of ablation studies showing that BOPrO converges faster even if the user priors are not entirely accurate and that it robustly recovers from misleading priors. |
Abstract: | Otimização Bayesiana (Bayesian Optimization – BO) é uma ferramenta eficiente para a otimização de decisões de projeto que tem ganhado grande popularidade nos últimos anos. BO tem impactado uma vasta gama de áreas, de aprendizado de máquina à cristalografia serial. Porém, embora BO seja um método popular para a otimização de funções caixa-preta, BO não é capaz de aproveitar da experiência de especialistas humanos no processo de otimização. Especialistas humanos frequentemente têm intuições sobre quais regiões do espaço de busca tem maior chance de trazer bons resultados, porém, não tem suporte apropriado para injetar esse conhecimento na BO. Isso faz com que BO desperdice avaliações da função em regiões sabidamente ruins do espaço de busca, desacelerando a convergência. Para tratar esse problema, n´os introduzimos Bayesian Optimization with a Prior for the Optimum (BOPrO). BOPrO permite que usuários injetem seu conhecimento no processo de otimização na forma de priors de quais regiões do espaço de busca levarão `a melhor performance, no lugar dos priors sob funções tradicionais de BO, que são muito menos intuitivos para usuários. BOPrO então combina esses priors com o modelo probabilístico tradicional de BO para construir uma distribuição pseudo-posterior de boas regiões do espaço de busca. Nós avaliamos BOPrO em um conjunto de funções sintéticas e demonstramos que BOPrO ´e mais eficiente em número de avaliações do que m´métodos do estado da arte sem priors de usuários, outras abordagens com suporte para injeção de priors e 10,000× mais rápido do que a busca aleatória. N´os também comparamos BOPrO com o estado da arte em uma aplicação real de projeto de hardware com priors providenciados por um especialista humano e mostramos que BOPrO atinge um novo estado da arte. Por fim, demonstramos que BOPrO converge mais rápido mesmo que o prior do usuário não seja perfeitamente preciso e que BOPrO robustamente recupera de priors incorretos. |
Asunto: | Computação – Teses Otimização bayesiana – Teses Aprendizado de máquina – Teses Markov, Processos de – Teses |
Idioma: | por |
País: | Brasil |
Editor: | Universidade Federal de Minas Gerais |
Sigla da Institución: | UFMG |
Departamento: | ICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃO |
Curso: | Programa de Pós-Graduação em Ciência da Computação |
Tipo de acceso: | Acesso Aberto |
URI: | http://hdl.handle.net/1843/54642 |
Fecha del documento: | 24-mar-2022 |
Aparece en las colecciones: | Teses de Doutorado |
archivos asociados a este elemento:
archivo | Descripción | Tamaño | Formato | |
---|---|---|---|---|
BOPrO_PhD_final.pdf | 3.46 MB | Adobe PDF | Visualizar/Abrir |
Los elementos en el repositorio están protegidos por copyright, con todos los derechos reservados, salvo cuando es indicado lo contrario.