Deep reinforcement learning framework for fault detection in continuous chemical processes

Abstract

Processos industriais modernos estão sujeitos a padrões cada vez mais altos de qualidade, segurança, sustentabilidade e economia. A implementação de controle em malha fechada visa assegurar o cumprimento desses padrões, compensando perturbações e mudanças no processo. Contudo, falhas, ou seja, desvios não permitidos em propriedades ou variáveis do sistema, ainda são comuns e podem afetar significativamente o processo, dificultando a aderência a esses requisitos. Assim, práticas de monitoramento de processos para detectar, diagnosticar e corrigir falhas tornam-se cada vez mais cruciais. Em um contexto de Aprendizado de Máquina, boa parte das abordagens tradicionais se baseiam em aprendizado supervisionado, com o objetivo de determinar o mapeamento entre os dados do processo e algum conjunto discreto de classes, neste caso os tipos de falhas. Recentemente, abordagens de detecção de falhas industriais baseadas em Aprendizado por Reforço (Reinforcement Learning, RL) se fazem cada vez mais presentes na literatura. Os métodos de RL consistem no desenvolvimento de agentes inteligentes que aprendem a interagir com determinado ambiente para maximizar recompensas. No entanto, a maioria das abordagens atuais foca em sistemas simples com poucas variáveis. Este projeto visou criar um framework de RL para detecção de falhas em processos químicos contínuos, que envolvem múltiplas variáveis e dinâmicas complexas. Por meio do algoritmo Deep Q-Learning, o framework proposto foi capaz de detectar vinte falhas diferentes no Tennessee Eastman Process (TEP), benchmark amplamente utilizado na comunidade científica que consiste em uma simulação realista de um processo químico contínuo. Os modelos superaram um modelo baseline baseado em Análise de Componentes Principais (PCA) em métricas como taxas de falso alarme e detecções perdidas, bem como tempo até detecção, para a maioria das falhas. Notavelmente, para falhas caracterizadas por alta dificuldade de detecção, obteve-se taxa média de detecções perdidas de 12,49%, comparadas a uma taxa mínima de 79,59% para o PCA.