Drafting in collectible card games via reinforcement learning

Abstract

Jogos de cartas colecionáveis (JCC), como Magic: the Gathering e Hearthstone, possuem atualmente dezenas de milhões de jogadores pelo mundo. Seus vastos espaços de estados, junto de suas complexas regras e grande quantidade de cartas diferentes fazem com que jogá-los seja uma tarefa desafiadora tanto para humanos quanto para agentes de inteligência artificial (IA). Neles, os jogadores constroem um baralho usando cartas que representam criaturas, itens ou mágicas de algum universo fictício e o usam para batalhar contra outros jogadores. Para vencer, portanto, um jogador precisa ser proficiente em duas tarefas interdependentes: contruir baralhos e batalhar. O advento de IAs que joguem JCCs de forma proficiente e rápida possibilitaria, por exemplo, o playtest extensivo de novos conjuntos de cartas antes destes serem disponibilizados para o público, o que é, há muito tempo, um problema em aberto na indústria de JCCs. Nesta dissertação, propomos abordagens de aprendizado por reforço profundo para a tarefa de construir baralhos no modo arena – um modo de jogo presente na maioria dos jogos de cartas colecionáveis comerciais. No arena, os jogadores constroem seus baralhos imediatamente antes de batalhar, escolhendo uma carta de cada vez dentre cartas aleatórias apresentadas (processo chamado de drafting). Nós formulamos o problema de forma genérica, aplicável a vários JCCs, e investigamos três abordagens que diferem em como considerar as cartas já escolhidas nas próximas escolhas, usando diferentes representações de estados e tipos de redes neurais. Realizamos experimentos no Legends of Code and Magic, um JCC desenvolvido especificamente para pesquisa em IA. Usando como métrica de desempenho a taxa de vitória dos baralhos ao serem usados por IAs em batalhas, os resultados mostram que nossos agentes de drafting alcançaram desempenho melhor que as melhores IAs disponíveis para o jogo, e o fizeram construindo baralhos muito diferentes dos construídos por elas. Além disso, uma IA participante da competição Strategy Card Game AI competition, realizada na conferência IEEE CoG 2019, subiu do décimo para o quarto lugar na classificação ao usar nosso melhor agente para construir seus baralhos. Concluímos com uma discussão sobre os resultados, contribuições, limitações e possíveis trabalhos futuros.