Understanding model performance

Abstract

Este trabalho introduz um novo pipeline de avaliação de modelos de aprendizado de máquina supervisionado, construído para identificar e descrever regiões em um conjunto de dados nas quais os modelos exibem um erro excepcional em suas previsões. Por meio da integração de técnicas de descoberta de subgrupos e visualização de dados, o pipeline fornece um entendimento mais granular sobre a performance preditiva do modelo, de tectando padrões de erros não triviais, que métricas globais mais tradicionais podem não elucidar. A abordagem é agnóstica ao tipo de modelo e interpretável, oferecendo insights valiosos sobre os subgrupos dos dados que contribuem desproporcionalmente para as taxas de erro globais. Resultados experimentais demonstram a efetividade do método em contribuir com a avaliação de modelos, ao aplicá-lo a conjuntos de dados bem conhecidos. Este trabalho contribui para o campo de explicabilidade em IA ao fornecer uma ferramenta prática e open-source para análise de performance e identificação de melhorias em modelos preditivos.