Explaining regression models predictions

Abstract

O crescente interesse em aplicações de aprendizado de máquina levantou uma discussão na comunidade de inteligência artificial sobre a transparência do modelo. No centro desta discussão estão questões sobre a explicação e a interpretabilidade do modelo. Embora alguns métodos sejam sistematicamente apontados como interpretáveis por humanos, por exemplo, Programação Genética (PG) e Árvores de Decisão (AD), sabemos que quanto mais complexo o modelo se torna, menos interpretável ele é. Esta tese enfoca na explicabilidade dos modelos de regressão. As abordagens propostas não explicam o processo seguido por um modelo para se chegar a uma decisão. Em vez disso, elas justificam as previsões que o modelo faz. Quatro métodos agnósticos de modelo foram propostos para ajudar a justificar as previsões: dois métodos baseados em atributos, denominados Explicação por Aproximação Local (ELA) e Explicação Dinâmica por Aproximação Local (DELA), um método baseado em protótipos, denominado Explicação Multiobjetivo Baseada em Protótipos para Regressão (M-PEER) e um método híbrido multinível denominado Explicação Multinível Híbrida (HuMiE). ELA é um método de explicação simples que encontra os vizinhos mais próximos da instância que queremos explicar e realiza uma regressão linear usando este subconjunto de instâncias. Os coeficientes dessa regressão linear são então usados para gerar uma explicação local para o modelo. Os resultados mostram que os erros obtidos pelo método ELA são semelhantes aos da regressão realizada com todos as instâncias. Além disso, propomos o uso de visualizações simples baseadas em gráficos de áreas empilhadas para mostrar as explicações do método ELA. Assim, observamos que os resultados obtidos resultam em informações adicionais aos usuários sobre os atributos mais relevantes para as previsões. DELA é um método que aprimora ELA deixando-o com uma estrutura interna mais dinâmica e adaptável às características do conjunto de dados trabalhado. Para tanto, DELA realiza a normalização dos conjuntos de dados de entrada, escolhe a métrica de distância mais adequada em cada contexto ao comparar as instâncias, define dinamicamente o número de vizinhos que serão selecionados para a explicação local de acordo com a densidade local e calcula a importância dos recursos com base na localização da instância de teste. Desta forma, DELA demonstrou ser menos afetado por conjuntos de dados com altas variâncias nos atributos, além de retornar interpretações semanticamente corretas, o que nem sempre ocorre nos métodos explicativos concorrentes. O terceiro método proposto, M-PEER, utiliza protótipos para fornecer explicações globais e locais para problemas de regressão. Este método leva em consideração os recursos de entrada e também a saída do modelo. Definimos protótipos como casos exemplares no domínio do problema. O M-PEER é um método baseado em um algoritmo evolutivo multiobjetivo que minimiza o erro do modelo explicável e também outras duas medidas semanticamente baseadas no contexto de interpretabilidade. Os resultados mostram ganhos significativos do M-PEER sobre outras estratégias, com uma melhoria média de 12% em uma métrica proposta denominada Fidelidade e Estabilidade Global (GFS) e 17% na Raiz do Erro Quadrático Médio (RMSE) quando comparado com ProtoDash, um método considerado estado-da-arte em explicações baseadas em protótipos.Por fim, o método denominado HuMiE é capaz de criar explicações híbridas multinível para problemas de regressão. Por híbrido entendemos que a explicação fornecida engloba tantos elementos de uma explicação baseada em exemplos quanto de explicações baseadas em atributos. Por multinível HuMiE apresenta em formato de árvore as explicações globais do modelo, explicações locais para instâncias de teste específicas e também explicações intermediárias, retratando subgrupos semanticamente semelhantes. Experimentos com conjuntos de dados do mundo real mostraram quantitativamente que os protótipos escolhidos por HuMiE foram melhores que todos os concorrentes (M-PEER e ProtoDash) em relação à métrica de fidelidade. HuMiE também foi melhor que M-PEER com um único nível em relação às métricas de estabilidade e GFS. Qualitativamente HuMiE é capaz de diversificar na escolha de protótipos de acordo com as características do conjunto de dados apresentado, tanto em termos de saída do modelo quanto dos atributos. Além disso, HuMiE foi capaz de encontrar subgrupos de instâncias semelhantes, proporcionando uma interpretação intermediária entre as escalas local e global.