Deep reinforcement learning framework for fault detection in continuous chemical processes
Carregando...
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Dissertação de mestrado
Título alternativo
Framework de aprendizado por reforço para detecção de falhas em processos químicos contínuos
Primeiro orientador
Membros da banca
Antônio de Pádua Braga
Roberto da Costa Quinino
Roberto da Costa Quinino
Resumo
Modern industrial processes are subject to increasingly higher quality, safety, environmental and economical standards. The implementation of closed-loop control aims to guarantee that these standards are met by compensating the effects of disturbances and changes that might occur in the process. However, faults, i.e., unpermitted deviations of at least one characteristic property or variable of the system, can still happen in most industrial processes and have an impact on such requirements. Therefore, process monitoring tasks that detect, diagnose and remove faults are increasingly more necessary. In the field of Machine Learning, some of the most relevant approaches to fault detection are supervised learning-based methods, in which the learning process focuses on determining the mapping between input variables, i.e., process data, and some discrete set of classes, in this case the fault types. Recently, there has been an increase in industrial fault detection approaches based on Reinforcement Learning (RL), which consists on building intelligent agents that interact with certain environment by performing actions and receive rewards based on the quality of the actions performed. However, the majority of the methods currently present in literature focuses in equipment such as industrial rotating machinery and rely on datasets with a small number of variables. Hence, this project’s objective is to develop a reinforcement learning framework to perform fault detection in continuous chemical process, which have a large number of variables and complex dynamics. The proposed framework was able to train, validate and test RL agents with the Deep Q-Learning algorithm and use these agents to detect twenty different fault types in the simulated Tennessee Eastman Process benchmark. The model reached higher performance according to three selected metrics (false alarme rate, missed detection rate and time to detection) for most faults if compared to a Principal Component Analysis baseline model. Notably, for faults known to be hard-to-detect, the proposed framework reached mean missed detection rates of 12,49%, as compared to a minimum of 79,59% for the PCA baseline approach.
Abstract
Processos industriais modernos estão sujeitos a padrões cada vez mais altos de qualidade, segurança, sustentabilidade e economia. A implementação de controle em malha fechada visa assegurar o cumprimento desses padrões, compensando perturbações e mudanças no processo. Contudo, falhas, ou seja, desvios não permitidos em propriedades ou variáveis do sistema, ainda são comuns e podem afetar significativamente o processo, dificultando a aderência a esses requisitos. Assim, práticas de monitoramento de processos para detectar, diagnosticar e corrigir falhas tornam-se cada vez mais cruciais. Em um contexto de Aprendizado de Máquina, boa parte das abordagens tradicionais se baseiam em aprendizado supervisionado, com o objetivo de determinar o mapeamento entre os dados do processo e algum conjunto discreto de classes, neste caso os tipos de falhas. Recentemente, abordagens de detecção de falhas industriais baseadas em Aprendizado por Reforço (Reinforcement Learning, RL) se fazem cada vez mais presentes na literatura. Os métodos de RL consistem no desenvolvimento de agentes inteligentes que aprendem a interagir com determinado ambiente para maximizar recompensas. No entanto, a maioria das abordagens atuais foca em sistemas simples com poucas variáveis. Este projeto visou criar um framework de RL para detecção de falhas em processos químicos contínuos, que envolvem múltiplas variáveis e dinâmicas complexas. Por meio do algoritmo Deep Q-Learning, o framework proposto foi capaz de detectar vinte falhas diferentes no Tennessee Eastman Process (TEP), benchmark amplamente utilizado na comunidade científica que consiste em uma simulação realista de um processo químico contínuo. Os modelos superaram um modelo baseline baseado em Análise de Componentes Principais (PCA) em métricas como taxas de falso alarme e detecções perdidas, bem como tempo até detecção, para a maioria das falhas. Notavelmente, para falhas caracterizadas por alta dificuldade de detecção, obteve-se taxa média de detecções perdidas de 12,49%, comparadas a uma taxa mínima de 79,59% para o PCA.
Assunto
Engenharia química, Processos de fabricação, Aprendizado por reforço, Aprendizado do computador, Framework (Programa de computador), Detecção de anomalias (Computação)
Palavras-chave
Fault detection, Continuous chemical processes, Reinforcement learning, Deep Q-Learning, Machine Learning