Understanding model performance
Carregando...
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Dissertação de mestrado
Título alternativo
Compreendendo o desempenho do modelo
Primeiro orientador
Membros da banca
Ricardo Bastos Cavalcante Prudencio
Wagner Meira Júnior
Wagner Meira Júnior
Resumo
This work introduces a novel evaluation pipeline for supervised machine learning models, designed to identify and describe regions within a dataset where models exhibit exceptional predictive errors. By integrating Subgroup Discovery and Data Visualization techniques, the pipeline provides a more granular understanding of model performance, uncovering non-trivial error patterns that conventional global metrics may obscure. The approach is model-agnostic and interpretable, offering valuable insights into data sub groups that disproportionately contribute to overall error rates. Experimental results demonstrate the pipeline’s effectiveness in enhancing model evaluation, by applying it to well-known datasets. This work contributes to Explainable AI (xAI) by providing an open source, practical tool for targeted model improvements and performance analysis.
Abstract
Este trabalho introduz um novo pipeline de avaliação de modelos de aprendizado de máquina supervisionado, construído para identificar e descrever regiões em um conjunto de dados nas quais os modelos exibem um erro excepcional em suas previsões. Por meio da integração de técnicas de descoberta de subgrupos e visualização de dados, o pipeline fornece um entendimento mais granular sobre a performance preditiva do modelo, de tectando padrões de erros não triviais, que métricas globais mais tradicionais podem não elucidar. A abordagem é agnóstica ao tipo de modelo e interpretável, oferecendo insights valiosos sobre os subgrupos dos dados que contribuem desproporcionalmente para as taxas de erro globais. Resultados experimentais demonstram a efetividade do método em contribuir com a avaliação de modelos, ao aplicá-lo a conjuntos de dados bem conhecidos. Este trabalho contribui para o campo de explicabilidade em IA ao fornecer uma ferramenta prática e open-source para análise de performance e identificação de melhorias em modelos preditivos.
Assunto
Computação – Teses, Aprendizado do computador – Teses, Ciência de dados – Teses, Controle preditivo – Teses, Inteligência artificial – Teses
Palavras-chave
Machine learning, Data science, Subgroup discovery, Explainable AI
Citação
Departamento
Endereço externo
Avaliação
Revisão
Suplementado Por
Referenciado Por
Licença Creative Commons
Exceto quando indicado de outra forma, a licença deste item é descrita como Acesso aberto