Open set semantic egmentation of remote sensing images

Abstract

As principais abordagens desenvolvidas em visão computacional e processamento de imagem digital são voltadas para dados obtidos por meio de smartphones e câmeras compactas. Essas câmeras normalmente são usadas para capturar cenas nos canais RGB, ou seja, apenas no espectro visível. Outra fonte de imagens que são exploradas pela visão computacional, são as imagens de satélite ou imagens aéreas. Entretanto, o desenvolvimento de abordagens de visão computacional que exploram as imagens de satélite é relativamente recente devido principalmente à pouca disponibilidade a esse tipo de imagem. Até pouco tempo atrás elas eram de exclusivo uso militar. O acesso a imagens aéreas, inclusive com informação espectral, vem aumentando principalmente devido ao baixo custo de drones, novos satélites de uso civil, e conjuntos de dados em diversas plataformas públicas. Na área de sensoriamento remoto, as aplicações que empregam técnicas de visão computacional são modeladas para classificação em cenários fechados (closed set). No entanto, o mundo não é puramente closed set, muitos cenários apresentam classes que não são previamente conhecidas pelo algoritmo, um cenário de conjunto aberto (open set). Desse modo, o objetivo principal desta dissertação é o estudo e desenvolvimento de técnicas de segmentação semântica considerando o cenário open set aplicado a imagens de sensoriamento remoto. As principais contribuições dessa dissertação são: (1) uma discussão dos trabalhos relacionados, mostrando evidências de que técnicas de segmentação semântica podem ser adaptadas para cenários open set; e (2) o desenvolvimento de dois métodos para segmentação semântica open set. Os métodos OpenPixel e OpenFCN apresentaram resultados competitivos quando comparados aos métodos closed set no mesmo conjunto de dados. Em média, o método OpenPixel apresentou uma acurácia geral de 57,51\%, uma acurácia normalizada de 54,23\% e um Índice Kappa de 0,5602. Para o OpenFCN, o método resultou em uma acurácia geral de 82,27\%, uma acurácia normalizada de 64,39\% e um Índice Kappa de 0,7630. É possível concluir que os métodos propostos podem segmentar classes desconhecidas enquanto ainda classificam de forma correta a maioria das classes conhecidas, realizando uma segmentação semântica \textit{open set} em imagens de sensoriamento remoto.