Ensemble learning through Rashomon sets

Abstract

Resumo Criar modelos a partir de observações e garantir a eficácia em novos dados é a essência do aprendizado de máquina. Portanto, estimar o erro de generalização de um modelo é um passo crucial. Apesar da existência de muitas métricas de desempenho que aproximam o poder de generalização, ainda é um desafio selecionar modelos que generalizem para dados futuros desconhecidos. Neste trabalho, investigamos como os modelos se comportam em conjuntos de dados que possuam diferentes funções geradoras, mas constituem tarefas correlatas. A principal motivação é estudar o Efeito Rashomon, que aparece sempre que o problema de aprendizagem admite um conjunto de soluções que apresentam desempenho semelhante. Muitos problemas do mundo real são caracterizados por múltiplas estruturas locais no espaço de dados e, como resultado, o problema de aprendizagem correspondente apresenta uma superfície de erro não convexa sem mínimo global óbvio, implicando assim uma multiplicidade de modelos performantes, cada um deles fornecendo uma explicação diferente. A literatura sugere este tipo de problema estar sujeito ao Efeito Rashomon. Por meio de um estudo empírico em diferentes conjuntos de dados, elaboramos uma estratégia focada na explicabilidade, especificamente na importância de variáveis. Nossa abordagem para lidar com o Efeito Rashomon é estratificar, durante o treinamento, modelos em grupos que sejam coerentes entre si ou contrastantes. A partir desses grupos, podemos selecionar modelos que aumentem a robustez das respostas em tempo de produção, sendo também capazes de medir possíveis desvios nos dados. Apresentamos ganhos de desempenho na maioria dos cenários avaliados ao criar um comitê de modelos e garantir que cada constituinte cubra um subespaço independente da solução. Validamos nossa abordagem em conjuntos de dados fechados e abertos, fornecendo intuições sobre possíveis aplicações ao analisar alguns estudos de caso do mundo real nos quais nosso método foi empregado com sucesso. Não apenas nossa abordagem provou ser superior ao estado-da-arte a comitês baseados em árvores, com ganhos em AUC de até 0,20+, mas os constituintes são altamente explicáveis e permitem a integração de humanos no processo de tomada de decisão do modelo, assim os tornando mais eficientes.