Mapping the unseen: exploiting super-resolution for semantic segmentation in low-resolution images

Abstract

Imagens aéreas de alta resolução são desejáveis para a maior parte das aplicações de sensoriamento remoto baseadas em algoritmos profundos. Esse tipo de dado, contudo, nem sempre é acessível. Por outro lado, imagens de sensoriamento remoto de baixa/média resolução, como as dos satélites LANDSAT e MODIS, são facilmente encontradas em repositórios públicos abertos e, portanto, são usadas em diversos estudos. O problema é que a quantidade de informação espacial comprimida em um único pixel em uma representação de baixa resolução pode comprometer algoritmos de reconhecimento de padrão. Assim, o uso de dados de baixa resolução para a criação automática de mapas temáticos é muito restrito, dado que a maioria das abordagens baseadas em algoritmos profundos para segmentação semântica (ou rotulação densa) são adequadas apenas para dados subdecimais. Super-resolução é um problema clássico de visão computacional que busca restaurar a qualidade de imagens de baixa resolução. No presente trabalho, foram desenvolvidos dois arcabouços que têm como objetivo avaliar a efetividade de super-resolução baseada em algoritmos profundos na segmentação semântica de imagens de sensoriamento remoto de baixa resolução. Visa-se avaliar quão efetivo é a super-resolução em diferentes níveis de degradação, como se compara com interpolação bicúbica não-supervisionada e se é capaz de reconstruir objetos pequenos e, consequentemente, contribuir para o melhoramento da segmentação semântica. O primeiro arcabouço usa super-resolução como um pré-processamento para a tarefa de segmentação semântica. O segundo arcabouço é uma abordagem unificada que treina as duas redes ao mesmo tempo enquanto compartilha suas funções de erro. Foram executados um conjunto extensivo de experimentos em dados de sensoriamento remoto com natureza e propriedades distintas. Para o conjunto de dados agriculturais de mapeamento de café, que contém apenas duas classes (café e não-café), o uso de imagens de baixa resolução alcançou apenas 50% de acurácia normalizada com taxa de aumento de 8 vezes. O arcabouço em dois estágios na mesma condição aumentou esse valor para 72%. O arcabouço unificado aumentou ainda mais esse valor para 77%, comparado aos 81% com dados de alta resolução. Para o conjunto de dados urbano de Vaihingen, usar super-resolução no arcabouço de dois estágios aumentou a acurácia de segmentação de carros de 19% para 58% com taxa de aumento de 8 vezes, enquanto o arcabouço unificado alcançou 65%. Nesse caso, com dados de alta resolução, a acurácia foi de 69%, o que não está distante dos resultados de super-resolução. Ambos os casos são exemplos de como super-resolução é capaz de recuperar detalhes de textura importantes (para plantações de café, por exemplo) e também é capaz de fazer ficarem mais claros objetos que eram difíceis de enxergar em uma representação de baixa resolução (como os carros). Os resultados mostram que super-resolução é efetiva para melhorar o desempenho de segmentação semântica em imagens aéreas de baixa resolução. Super-resolução não apenas é melhor que interpolação não-supervisionada, como também alcança resultados de segmentação semântica comparáveis a dados de alta resolução. Mesmo com pouco dado de treinamento, o uso dos arcabouços alcançou resultados melhores que usando interpolação bicúbica. Dessa forma, o uso de super-resolução se provou ser mais efetivo do que aplicar imagens de baixa resolução em uma rede neural de segmentação semântica. Isso é verdade especialmente para altos fatores de degradação, os quais são os casos em que super-resolução supera mais o desempenho de se usar diretamente dados de baixa resolução.