Sample size estimation for power and accuracy in the experimental comparison of metaheuristics
Carregando...
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Tese de doutorado
Título alternativo
Primeiro orientador
Membros da banca
Claus de Castro Aranha
Thiago Ferreira de Noronha
Luiz Henrique Duczmal
Hélio José Corrêa Barbosa
Thiago Ferreira de Noronha
Luiz Henrique Duczmal
Hélio José Corrêa Barbosa
Resumo
Experimental algorithmics encompasses the study of guidelines and methods for computational evaluation of algorithms. In the optimization field, it is useful for testing the performance of algorithms when solving a certain type of problem. In this work we develop a methodology for generating adequate experimental designs for comparing the performance of optimization metaheuristics, with a focus on statistical power and accuracy in parameter estimation. In particular, we deal with sample size estimation for experiments involving optimization algorithms, both in terms of within-instance repeated executions and the number of instances required. A statistically sound methodology is presented for sample size calculation, allowing relevant comparisons between the performances of two algorithms for a given class of problems. The methodology’s effectiveness is validated using simulated models and exemplified with two case studies. The proposed methodology was implemented in the form of an open source R package, published in the CRAN repository.
Abstract
Experimentação algoritmica contempla o estudo de diretrizes e métodos para avaliação computacional de algoritmos. No campo da otimização, ela é útil para testar o desempenho de algoritmos ao resolver classes específicas de problemas. Nesse trabalho estamos desenvolvendo uma metodologia para geração planejamentos experimentais adequados para comparação de desempenhodemeta-heurísticas,comumfocoempotênciaestatísticaeprecisãonaestimação de parâmetros. Em particular, lidamos com estimação do tamanho amostral para experimentos que envolvem algoritmos de otimização, tanto em termos do número de execuções em uma mesma instância quanto do número de instâncias necessárias. Uma metodologia estatisticamente válida é apresentada para o calculo de tamanho amostral, permitindo comparações relevantes entre as performances de dois algoritmos para uma dada classe de problemas. A eficácia da metodologia é validada usando modelos simulados e exemplificada com dois estudos de caso. A metodologia proposta foi implementada na forma de pacote em R código aberto, publicado no repositório CRAN.
Assunto
Engenharia elétrica, Programação heurística, Algoritmos
Palavras-chave
Engenharia elétrica