A novel functional electrical stimulation-induced controller using reinforcement learning to optimize online muscle activation pattern

Abstract

Este estudo apresenta um novo controlador baseado em um algoritmo de aprendizagem por reforço (RL) para adaptação em tempo real do padrão de estimulação durante o ciclo FES. O núcleo da nossa abordagem é a introdução de um agente RL que interage com o ambiente do ciclismo e aprende através de tentativa e erro como modular a carga elétrica aplicada aos grupos musculares estimulados de acordo com uma política predefinida e enquanto rastreia uma cadência de referência. Em vez de um padrão de estimulação estática a ser modificado por uma lei de controle, levantamos a hipótese de que um conjunto de parâmetros de linha de base não estacionário ajustaria melhor a quantidade de carga elétrica injetada às características da musculatura que variam no tempo. Sessões de ciclismo assistidas por FES foram realizadas por um sujeito com lesão medular (SCI AIS-A, T8). Para rastrear uma cadência de pedalada predefinida, duas leis de controle de circuito fechado foram usadas simultaneamente para modular a intensidade do pulso dos canais de estimulação responsáveis ​​por evocar as contrações musculares. Primeiro, um controlador Proporcional-Integral (PI) foi usado para controlar a amplitude atual dos canais de estimulação sobre uma configuração de parâmetro inicial com amplitude de pulso predefinida, largura e parâmetros de frequência fixa. Paralelamente, um algoritmo RL com uma estratégia decaída épsilon gananciosa foi implementado para explorar aleatoriamente nove variações diferentes de parâmetros de amplitude e largura de pulso sobre a mesma configuração de estimulação, com o objetivo de ajustar a carga elétrica injetada de acordo com uma política predefinida. O desempenho desta estratégia de controle global foi avaliado em dois cenários diferentes de RL e explorado em dois cenários de ciclismo diferentes. O participante foi capaz de pedalar no solo por distâncias superiores a 3,5 km, e os resultados evidenciaram que o agente RL aprendeu a modificar o padrão de estimulação de acordo com a política predefinida e foi simultaneamente capaz de rastrear uma cadência de pedalada predefinida. Apesar da simplicidade da nossa abordagem e da existência de algoritmos RL mais sofisticados, o nosso método pode ser utilizado para reduzir o tempo necessário para definir padrões de estimulação. Nossos resultados sugerem possibilidades interessantes de pesquisa a serem exploradas no futuro para melhorar o desempenho do ciclismo, uma vez que dinâmicas de custo de estimulação mais eficientes podem ser exploradas e implementadas para o agente aprender.