Scene classification using a combination of aerial and ground images

Abstract

É inegável que imagens aéreas e orbitais fornecem uma grande variedade de informações para muitos tipos de aplicações, tais como logística humanitária para desastres naturais e planejamento urbano. Porém, devido ao fato dessas imagens sempre terem a mesma perspectiva, algumas aplicações podem ter grandes benefícios, caso sejam complementadas com fotos de outros ângulos, como por exemplo, imagens tomadas ao nível do solo. Apesar do grande número de repositórios de imagens públicos que permitem a aquisição de fotos e imagens aéreas georreferenciadas (tais como Google Maps e Google Street View), existe uma falta de datasets públicos com imagens pareadas de múltiplas visões. Devido a essa escassez, nesta dissertação foram produzidos dois novos datasets. O primeiro deles foi nomeado AiRound, e para cada amostra possui triplas de imagens de uma mesma coordenada geográfica. Cada tripla do AiRound contém uma imagem aérea, uma foto a nível do solo e uma imagem multi-espectral do satélite Sentinel-2. O segundo dataset foi nomeado CV-BrCT (Cross-View Brazilian Construction Types). Este é composto por pares de imagens (nível aéreo e nível do solo) coletados do Sudeste do Brasil. Para esta dissertação, conduzimos uma série de experimentos envolvendo ambos os datasets e visando os seguintes objetivos: (i) explorar a complementariedade de informação que imagens aéreas e a nível de solo possuem, usando modelos de aprendizado de máquina multimodais, (ii) comparar diferentes técnicas de fusão de características aplicadas em arquiteturas de redes neurais convolucionais, e (iii) investigar formas de lidar com atributos ausentes em um cenário multi-modal, no qual sempre existirá falta de dados em um determinado domínio. Experimentos demonstram que se comparados a modelos treinados/avaliados em um único domínio, algoritmos de fusão de informação atingem ganhos de até 0.15 e 0.20 no F1-Score para os datasets AiRound e CV-BrCT, respectivamente. Como nem sempre é possível obter imagens pareadas (em níveis aéreo e de solo) do mesmo local, projetamos um framework para lidar com cenários que utilizam algoritmos multimodais, e que nem sempre exigem pares de imagens para todas as amostras. Comparando resultados de classificações usando imagens de um único domínio com o uso do nosso framework integrado a um modelo multimodal, atingimos um ganho de 0.03 no F1-Score para ambos os datasets. Portanto, demonstramos que utilizar o nosso framework é mais eficaz do que apenas classificar usando dados e classificadores de um único domínio.