Comparative analysis of variable selection techniques

Abstract

Este estudo avalia alguns métodos de seleção de variáveis através de simulações em 19 cenários distintos, variando em tamanho da amostra \(n\), número de variáveis \(p\), níveis de significância, forças dos coeficientes beta e tipos de variáveis (discretas e contínuas). Métodos tradicionais como Backward e Stepwise demonstraram desempenho robusto em diferentes valores de \(n\), enquanto abordagens mais recentes como SSGL mostraram maior eficácia em cenários com maior \(p\) ou coeficientes beta mais fortes. Todos os métodos apresentaram alta performance na maioria dos cenários devido à sua capacidade de identificar variáveis relevantes, ou seja, através da métrica de sensibilidade. Além disso, a análise de eficiência computacional revelou que o LASSO exigiu tempo de processamento pequeno em todos os cenários em comparação com os métodos Backward e Stepwise. Já o SSGL, apresentou tempos de processamento variáveis influenciados pela força beta, \(n\) e \(p\). Tanto os métodos Backward quanto Stepwise exibiram comportamento computacional semelhante, com Stepwise consistentemente requerendo mais tempo à medida que \(p\) aumentava. A aplicação a dados do mundo real sublinhou a utilidade prática desses métodos, apoiando sua seleção com base nas características específicas dos dados e nos objetivos de desempenho. Esta pesquisa contribui com insights cruciais para a otimização de estratégias de seleção de variáveis em modelagem estatística e análises preditivas.