Stochastic neural dynamic programming

Abstract

Problemas de Otimização Estocástica de Múltiplos Estágios (MSSO) são comuns em cenários de tomada de decisão que envolvem incertezas sequenciais, abrangendo várias áreas, como logística de transporte, configuração de infraestrutura e agricultura. Este trabalho apresenta duas contribuições importantes: um novo algoritmo para resolver problemas MSSO, sejam eles convexos ou não, e um conjunto de metodologias para analisar o comportamento desse algoritmo e de outros em relação à tomada de decisões.

O algoritmo proposto, Programação Dinâmica Neural Estocástica, aproveita as capacidades preditivas das redes neurais para lidar com problemas MSSO. Superando desafios relacionados à modelagem das funções de custo futuras como redes neurais e ao treinamento de seus pesos, o algoritmo emprega um modelo de programação inteira e uma nova função de perda. A avaliação experimental em diferentes problemas demonstra a capacidade do algoritmo de treinar efetivamente os pesos da rede. No entanto, a complexidade computacional surge como uma limitação, especialmente em problemas com muitas variáveis de decisão e estágios, devido à necessidade de resolver um grande número de subproblemas de Programação Linear Mista (MILP) ou Programação Quadrática Mista (MIQP).

Uma vantagem significativa do uso de redes neurais reside na capacidade de otimizar além de valores médios, considerando observações, informações latentes e tendências temporais, libertando-se das restrições de independência probabilística entre os estágios.

Além de resolver os problemas propostos, o texto aborda a importância de compreender a lógica por trás das decisões e os riscos associados a aplicações de longo prazo no mundo real. Ele apresenta um conjunto de metodologias que utilizam o SHAP (SHapley Additive exPlanations) e a curvatura das superfícies. Essas técnicas fornecem informações sobre o impacto dos reservatórios e outras variáveis nos custos futuros e suas interações. Além disso, o uso de métricas de curvatura permite a quantificação do comportamento local na função de custo futura, facilitando a análise ao migrar a política aprendida para cenários do mundo real.