Understanding the fitness landscape of AutoML problems

Abstract

A Fitness Landscape Analysis (FLA) engloba um conjunto de ferramentas utilizadas para compreender melhor as características do espaço de busca de um problema. Compreender o cenário de aptidão pode ajudar a melhorar os algoritmos existentes e fornecer informações sobre o problema. A maneira clássica de analisar as paisagens de aptidão é realizando uma análise exploratória da paisagem (ELA) usando um conjunto de métricas que alavancam características sobre o espaço, como correlação de distância de aptidão ou taxa de neutralidade. Outra forma de olhar para esses espaços é usando o Local Optima Network (LON), um grafo construído sobre a paisagem de fitness, onde cada nó representa um ótimo local no espaço de busca.

Este trabalho usa o FLA para entender melhor o cenário de adequação dos problemas do AutoML. Os principais desafios de compreensão dessas paisagens estão relacionados aos tipos de parâmetros envolvidos e à representação complexa das soluções (quando comparadas com a representação de soluções de outros problemas que tiveram suas paisagens estudadas). Embora a maioria das métricas seja desenvolvida primeiro para espaços contínuos ou combinatórios, os problemas de AutoML têm parâmetros categóricos, discretos e contínuos, muitos deles condicionais (ou seja, um hiperparâmetro está presente apenas se outro hiperparâmetro for previamente selecionado). A representação é de alguma forma hierárquica, já que alterações em algoritmos de classificação, por exemplo, tendem a ter um impacto muito maior no fitness do que alterar um único hiperparâmetro de algoritmo. Portanto, definir vizinhança neste espaço não é uma tarefa trivial. Com o objetivo de melhorar nosso entendimento dessas paisagens, definimos a paisagem de aptidão de um problema de AutoML e analisamos várias métricas FLA para verificar se elas são apropriadas para o espaço de busca induzido por problemas de AutoML. Primeiro, examinamos um conjunto de métricas tradicionais para ELA e realizamos experimentos em várias definições para verificar a robustez das métricas. Em seguida, analisamos o espaço sob a perspectiva da Rede de Ótimos Locais, que é particularmente boa para medir a neutralidade e rugosidade do espaço de busca.

Os resultados mostraram que, à primeira vista, os LONs são mais adequados para caracterizar esses espaços, que são multimodais e apresentam neutralidade acentuada, sendo um espaço desafiador para métodos locais.