Explainability and causality for generalization approximation in environments with distribution shifts

Abstract

Estudos recentes mostraram que o desempenho estimado de um modelo de classificação em um conjunto de dados de origem específico (treinamento) pode ser muito diferente do desempenho do mesmo modelo após a implantação no mundo real, ou quando avaliamos o modelo em um conjunto de dados alvo com distribuição diferente do conjunto de dados de origem. Podemos chamar esse problema de mudança de distribuição (do inglês distribution shift) ou mudança de conjunto de dados (do inglês dataset shift), e uma estratégia emergente para esse problema é estimar o desempenho do modelo de classificação em dados não rotulados com distribuição desconhecida, essas estratégias são conhecidas como Avaliação Automática do Modelo (do inglês Automatic Model Evaluation ou AutoEval). A maioria dos trabalhos recentes estudaram como a mudança de distribuição afeta os modelos de aprendizado profundo aplicados a tarefas de visão computacional (ou seja, dados não estruturados). No entanto, as mudanças na distribuição também podem afetar o desempenho de um modelo em dados tabulares/estruturados. Diante deste contexto, esta tese explorou a explicabilidade e o aprendizado de causalidade para propor novas abordagens de AutoEval para modelos aplicados a dados tabulares. Primeiramente, apresentamos o método eXplainability for Automatic Model Eval (X-Eval), um algoritmo de AutoEval baseado no uso de métricas que normalmente são usadas para explicação de modelos (por exemplo, SHAP values e confiança na previsão) para detectar padrões de predições corretas e incorretas, para estimar o desempenho do modelo. Em seguida, propusemos a abordagem Causality for Automatic Model Evaluation (C-Eval), um método de AutoEval baseado na causalidade entre os atributos do conjunto de dados. O objetivo do C-Eval é regularizar a estimativa de um estimador de desempenho (por exemplo, da validação cruzada) de acordo com as mudanças de distribuição detectadas a partir de diferenças nos gráficos causais inferidos dos dados de origem e dos dados alvo. Finalmente, conduzimos experimentos com dados do mundo real e sintéticos. Especificamente, avaliamos as abordagens propostas usando (1) seis conjuntos de dados do mundo real relacionados a três assuntos (isto é, COVID-19, doença de Alzheimer e abandono escolar) e (2) dados sintéticos simulando diferentes tipos de mudanças de distribuição. Nossos resultados indicam que os métodos propostos superaram a linha de base, alcançando até erro zero na estimativa de desempenho do modelo. Além disso, avaliamos nossas abordagens de AutoEval como indicadores para seleção de modelos na tarefa de seleção de atributos. Nesta tarefa, comparado ao CV, os algoritmos propostos obtiveram ganhos de até 77%, em relação à macro f1 no conjunto alvo. Dado o exposto, os métodos propostos podem contribuir para a avaliação contínua de um modelo de classificação em produção (isto é, em execução no mundo real). Além disso, nossas descobertas contribuem para áreas de pesquisa como Aprendizado Semi-Supervisionado, Aprendizado Ativo e Aprendizagem por Transferência, dado que os algoritmos nestas áreas frequentemente lidam com dados de diferentes distribuições e uma estimativa do desempenho do modelo mais precisa pode melhorar a eficácia dos algoritmos nessas áreas.