Stochastic neural dynamic programming
Carregando...
Arquivos
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Dissertação de mestrado
Título alternativo
Programação dinâmica neural estocástica
Primeiro orientador
Membros da banca
Wagner Meira Júnior
Ram Rajagopal
Ram Rajagopal
Resumo
Multi-Stage Stochastic Optimization (MSSO) problems are prevalent in decision-making scenarios involving sequential uncertainty, spanning various domains such as transport logistics, infrastructure configuration, and agriculture. This work presents two key con- tributions: a novel algorithm for solving MSSO problems, whether convex or not, and a set of methodologies to analyze the behavior of this algorithm and others concerning decision-making.
The proposed algorithm, Stochastic Neural Dynamic Programming, leverages the predictive capabilities of neural networks to address MSSO problems. Overcoming chal- lenges related to modeling future cost functions as neural networks and training their weights, the algorithm employs an integer programming model and a novel loss func- tion. Experimental evaluation on different problems demonstrates the algorithm’s ability to train network weights effectively. However, computational complexity emerges as a limitation, particularly in problems with numerous decision variables and stages, due to the need to solve a substantial number of MILP (Mixed-Integer Linear Programming) or MIQP (Mixed-Integer Quadratic Programming) subproblems.
A notable strength of using neural networks lies in their capacity to optimize be- yond average values by considering observations, latent information, and temporal trends, breaking free from the constraints of probabilistic independence between stages.
In addition to solving the proposed problems, the text addresses the importance of understanding the rationale behind decisions and associated risks for long-term real- world applications. It introduces a set of methodologies utilizing SHAP (SHapley Additive exPlanations) and curvature of surfaces. Furthermore, the use of curvature metrics enables the quantification of local behavior in the future cost function, facilitating analysis when migrating the learned policy to real-world scenarios.
Abstract
Problemas de Otimização Estocástica de Múltiplos Estágios (MSSO) são comuns em cenários de tomada de decisão que envolvem incertezas sequenciais, abrangendo várias áreas, como logística de transporte, configuração de infraestrutura e agricultura. Este trabalho apresenta duas contribuições importantes: um novo algoritmo para resolver problemas MSSO, sejam eles convexos ou não, e um conjunto de metodologias para analisar o comportamento desse algoritmo e de outros em relação à tomada de decisões.
O algoritmo proposto, Programação Dinâmica Neural Estocástica, aproveita as capacidades preditivas das redes neurais para lidar com problemas MSSO. Superando desafios relacionados à modelagem das funções de custo futuras como redes neurais e ao treinamento de seus pesos, o algoritmo emprega um modelo de programação inteira e uma nova função de perda. A avaliação experimental em diferentes problemas demonstra a capacidade do algoritmo de treinar efetivamente os pesos da rede. No entanto, a complexidade computacional surge como uma limitação, especialmente em problemas com muitas variáveis de decisão e estágios, devido à necessidade de resolver um grande número de subproblemas de Programação Linear Mista (MILP) ou Programação Quadrática Mista (MIQP).
Uma vantagem significativa do uso de redes neurais reside na capacidade de otimizar além de valores médios, considerando observações, informações latentes e tendências temporais, libertando-se das restrições de independência probabilística entre os estágios.
Além de resolver os problemas propostos, o texto aborda a importância de compreender a lógica por trás das decisões e os riscos associados a aplicações de longo prazo no mundo real. Ele apresenta um conjunto de metodologias que utilizam o SHAP (SHapley Additive exPlanations) e a curvatura das superfícies. Essas técnicas fornecem informações sobre o impacto dos reservatórios e outras variáveis nos custos futuros e suas interações. Além disso, o uso de métricas de curvatura permite a quantificação do comportamento local na função de custo futura, facilitando a análise ao migrar a política aprendida para cenários do mundo real.
Assunto
Computação – Teses, Aprendizado profundo – Teses, Otimização matemática -Teses, Programação dinâmica – Teses
Palavras-chave
Deep learning, Optimization, Hydrothermal dispatch, Power flow
Citação
Departamento
Endereço externo
Avaliação
Revisão
Suplementado Por
Referenciado Por
Licença Creative Commons
Exceto quando indicado de outra forma, a licença deste item é descrita como Acesso Aberto