An investigation of different state representations for learning to coordinate in swarm navigation

Abstract

Sistemas multiagentes têm sido um foco importante de pesquisas para diversas aplicações desde a robótica com robôs interagindo e competindo entre si ou em jogos em que diversos agentes possuem um objetivo comum ou conflitante. É notável não só a evolução dos algoritmos determinísticos que abordam tarefas como navegação de robôs evitando colisões em ambientes controlados, como também abordagens que envolvem técnicas de aprendizado de máquina incluindo aprendizado por reforço. Recentemente, estes métodos baseados em aprendizado por reforço se mostram eficazes ao aproveitar redes neurais e a capacidade de processamento para tarefas complexas. Dentre as tarefas de enxames ou grupo de robôs uma tarefa em específico se mostra desafiadora: Navegação segregada. Esta tarefa consiste em um grupo de robôs, do mesmo grupo ou não, navegarem pelo ambiente em que estão inseridos e possuem o objetivo de navegar em conjunto de um ponto inicial até um objetivo final de forma coordenada evitando colisões com os outros robôs no ambiente ou obstáculos. O estado da arte neste campo conta com algoritmos determinísticos que atendem a tarefa não apresentam uma escalabilidae adequada para um número grande de robôs ou vários grupos de robôs heterogêneos. Além disso, essas técnicas possuem algumas restrições como o conhecimento prévio de características dos robôs e atributos como o grupo que um determinado robô pertence. Para entender como o aprendizado por reforço pode auxiliar a comunidade a superar alguns destes desafios, propomos duas metodologias para aplicar aprendizado por reforço com redes neurais (Deep Reinforcement Learning) na tarefa de navegação segregada de grupos heterogêneos de robôs que pertencem a grupos distintos. A primeira abordagem utiliza uma representação dos estados a partir dos sensores dos robôs para mapear o ambiente e os robôs dentro de um determinado campo de visão. Nessa estratégia, a ação que o robô executa está diretamente ligada à quantidade de robôs na região de visão dos sensores. O treinamento é realizado em um determinado setup no qual o robô é exposto a diferentes cenários com relação ao número de robôs e número de grupos. Em tempo de teste, essa política aprendida é aplicada no mesmo setup de treinamento, mas também o que chamamos de extrapolação, no qual a política é aplicada em cenários mais complexos com mais robôs por grupo.

Já a nossa segunda abordagem utiliza uma representação de elipse para representar o grupo de robôs além de uma estratégia de campos potenciais para evitar as colisões. Neste caso, a representação dos estados é feita pelos parâmetros da elipse de cada grupo e testamos duas formas de utilizar campos potênciais para evitar colisões: a primeira sendo o vetor resultado como uma entrada na rede neural a ser aprendida e a outra como soma vetorial após a resposta da rede.

A primeira metodologia apresenta resultados relevantes para cenários em que o setup de teste é o mesmo de treinamento. Ao expandirmos o teste e aplicarmos a política em cenários mais desafiadores, os resultados não são tão bons. Já com a segunda abordagem, em especial a segunda metodologia, obtivemos uma taxa de sucesso expressiva em relação à primeira metodologia da mesma abordagem e mesmo ao compararmos com a primeira abordagem.