Procedural generation of Pixel Art character poses with generative adversarial networks

Abstract

O desenvolvimento de jogos envolve a criação de diferentes tipos de conteúdo, um processo iterativo e geralmente demorado. Em jogos bidimensionais, os personagens são tipicamente representados em muitos sprites, pois podem executar diversas ações, exigindo vários quadros por clipe de animação e desenhos em diferentes direções (e.g., frente, trás, esquerda, direita). Embora a maioria das tarefas envolvidas seja criativa e, portanto, bem apropriada aos artistas, algumas delas podem se tornar repetitivas e, portanto, se beneficiar de automação. A área de Geração Procedural de Conteúdo apresenta técnicas que podem auxiliar na criação de recursos em jogos, mas são poucas as que almejam a criação de conteúdo cosmético, como imagens e sons. No entanto, os pesquisadores têm abordado novos problemas da área ao se apropriar dos avanços recentes no campo de Aprendizado de Máquina relacionados aos modelos geradores. Esta tese aborda o desafio de gerar personagens em pixel art em diferentes lados (e.g., direito) a partir de imagens deles voltados para outros (e.g., frente). Enquadramos essa tarefa tanto como um problema de tradução de imagem para imagem, quanto como de imputação de dados ausentes, e propomos cinco modelos baseados em redes neurais geradoras adversárias para produzir imagens the personagens em diferentes poses. As imagens geradas variam em qualidade, de perceptualmente idênticas ao objetivo em um conjunto de dados feito por personagens modulares até pouco reconhecíveis quando usados em personagens muito diferentes da partição de treinamento. Também investigamos como o conhecimento específico de domínio do estilo pixel art pode ser integrado aos modelos, representando imagens como índices em uma paleta, adicionando perda por histograma e quantizando as imagens geradas, tanto em pós-processamento quanto de forma integrada. Este último método utiliza uma nova abordagem diferenciável que permite o treinamento de modelos geradores profundos de ponta a ponta para produzir imagens que aderem estritamente a uma paleta pretendida. Nossas principais contribuições incluem a proposição dos modelos geradores capazes de produzir personagens em diferentes poses, as modificações propostas para as arquiteturas base de redes neurais geradoras adversárias que produziram melhores resultados do que suas implementações originais e o conhecimento obtido pela investigação de diferentes hipóteses para melhorar a qualidade de geração de imagens em pixel art.