Sample size estimation for power and accuracy in the experimental comparison of metaheuristics

Abstract

Experimentação algoritmica contempla o estudo de diretrizes e métodos para avaliação computacional de algoritmos. No campo da otimização, ela é útil para testar o desempenho de algoritmos ao resolver classes específicas de problemas. Nesse trabalho estamos desenvolvendo uma metodologia para geração planejamentos experimentais adequados para comparação de desempenhodemeta-heurísticas,comumfocoempotênciaestatísticaeprecisãonaestimação de parâmetros. Em particular, lidamos com estimação do tamanho amostral para experimentos que envolvem algoritmos de otimização, tanto em termos do número de execuções em uma mesma instância quanto do número de instâncias necessárias. Uma metodologia estatisticamente válida é apresentada para o calculo de tamanho amostral, permitindo comparações relevantes entre as performances de dois algoritmos para uma dada classe de problemas. A eficácia da metodologia é validada usando modelos simulados e exemplificada com dois estudos de caso. A metodologia proposta foi implementada na forma de pacote em R código aberto, publicado no repositório CRAN.