Exploring explainability in atypical performance regions for time series classifiers with shapelets

Abstract

Compreender quando e onde modelos de aprendizado de máquina falham é crucial para implementar sistemas confiáveis em aplicações críticas. Embora a inteligência artificial explicável (XAI) tenha avançado significativamente em domínios como visão computacional e processamento de linguagem natural, a análise sistemática de erros para classificação de séries temporais permanece pouco explorada. Este trabalho aborda a questão fundamental: Podem padrões baseados em shapelets ser usados para identificar regiões de desempenho atípico em classificadores de séries temporais? Propomos uma metodologia inovadora de descoberta de subgrupos que combina programação evolutiva com reconhecimento de padrões baseado em shapelets para descobrir automaticamente estruturas temporais interpretáveis associadas a falhas de um classificador. Nossa abordagem formula a descoberta de slices como um problema de otimização onde shapelets servem como elementos fundamentais para definir regiões de erro atípico do modelo, enquanto um algoritmo evolutivo busca sistematicamente por subgrupos diversos e de alta qualidade caracterizados por desvios significativos de erro. Diferentemente dos métodos tradicionais de descoberta de slices baseados em características que perdem a semântica temporal, nosso design centrado em shapelets preserva a interpretabilidade enquanto alcança especificidade de padrões e diversidade superiores. A validação experimental em benchmarks sintéticos demonstra recuperação perfeita de padrões de erro embutidos: nosso algoritmo alcançou 100% de pureza e revocação para padrões distintos mantendo baixa redundância (similaridade Jaccard média: 0,161), comparado a um algoritmo baseline baseado em extração de características que alcançou apenas 44,7% de pureza com alta redundância (0,585). Estudos de caso do mundo real em conjuntos de dados benchmark da Universidade da Califórnia (UCR) revelam vulnerabilidades específicas do classificador e regiões de desempenho estável, com shapelets descobertas convergindo para padrões estruturais quase idênticos entre diferentes modelos para instâncias fáceis de classificar. Esta abordagem agnóstica ao modelo fornece aos usuários caracterizações automatizadas e interpretáveis de padrões de erro através de estruturas temporais que especialistas do domínio podem examinar e validar diretamente, abordando lacunas críticas na auditoria e depuração de modelos de séries temporais.