Síntese de imagens hiperespectrais a partir de câmeras RGB aplicada à detecção de incêndios florestais
Carregando...
Arquivos
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Tese de doutorado
Título alternativo
Hyperspectral image synthesis from RGB cameras applied to forest fire detection
Primeiro orientador
Membros da banca
Adriano Vilela Barbosa
Luciana Pedrosa Salles
Adriano Chaves Lisboa
Ana Paula Marques Ramos
Wesley Nunes Gonçalves
Luciana Pedrosa Salles
Adriano Chaves Lisboa
Ana Paula Marques Ramos
Wesley Nunes Gonçalves
Resumo
A detecção precoce de incêndios florestais é crucial para salvar vidas, minimizar impactos ecológicos
e ambientais e reduzir danos causados pelo fogo. Sistemas de detecção de incêndios baseados
em aprendizado de máquina e no uso de imagens, fotográficas e de vídeo, têm sido desenvolvidos nos
últimos anos com desempenho notável, mas ainda são susceptíveis a detecções incorretas em cenários
específicos. O imageamento hiperespectral tem o potencial de prover dados adicionais que possibilitem
aprimorar a detecção de incêndios e minimizar tais erros. Entretanto, câmeras hiperespectrais são
dispendiosas, de manuseio complexo e frágeis. O objetivo desse trabalho foi desenvolver uma metodologia
baseada em aprendizado de máquina para sintetizar imagens com alta resolução espectral a
partir de imagens de câmeras RGB convencionais, de baixo custo, acessíveis, e robustas, cujos dados
são espectralmente esparsos. O problema de sintetizar imagens hiperespectrais a partir de imagens
RGB é do tipo malposto (ill-posed), com infinitas soluções. Entretanto, é possível utilizar restrições
impostas pelas características de iluminação da cena e pelos elementos que a compõem para encontrar
a solução viável. Para isso, supõe-se que dados de imagens hiperespectrais utilizados nesse trabalho
residam em uma variedade (manifold) de baixa dimensionalidade intrínseca, contido em um espaço
de alta dimensionalidade. Essa condição pode ser confirmada caso haja baixa frequência de metâmeros
nas distribuições espectrais dos píxeis da imagem. Foram implementados e testados algoritmos
para síntese de dados hiperespectrais utilizando técnicas de regressão linear, composição de agrupamentos
e redes neurais do tipo perceptron multicamada. Em uma primeira etapa, foi utilizada uma
base de imagens hiperespectrais disponibilizada pelo ICVL (Interdisciplinary Computational Vision
Laboratory). Posteriormente, foram capturadas e processadas imagens de cenas urbanas, rurais, de
chamas, de queimas prescritas e de incêndios florestais com uso de câmeras hiperespectrais e RGB.
Essas imagens foram utilizadas para a construção de bases de dados de imagens utilizadas nessa pesquisa.
A metodologia empregada propiciou a síntese de imagens hiperespectrais, tanto na faixa de
luz visível, quanto na faixa do infravermelho próximo (NIR), a partir de imagens RGB obtidas por
projeção de imagens hiperespectrais no espaço de um sensor hipotético, assim como as obtidas diretamente
de sensores RGB convencionais. Um importante resultado foi a confirmação da identificação
de um sinal na faixa NIR oriundo do decaimento de elétrons em átomos de potássio, que pode ser
usado como um marcador para rastreamento de incêndios florestais.
Abstract
Early detection of wildfires is crucial for saving lives, minimizing ecological and environmental
impacts, and reducing damage caused by wildfire. While wildfire detection systems utilizing machine
learning and RGB images have shown notable performance in recent years, they still exhibit
susceptibility to incorrect detections in specific scenarios. Hyperspectral imaging has the potential to
provide additional data to improve fire detection and minimize such errors. However, hyperspectral
cameras are expensive, complex to handle, and fragile. This work aimed at developing a methodology
based on machine learning to synthesize high-spectral-resolution images from low-cost, accessible,
and robust conventional RGB cameras whose data is spectrally sparse. The problem of synthesizing
hyperspectral images from RGB images is ill-posed, with infinite solutions. However, it is possible
to use constraints imposed by the scene’s lighting characteristics and its elements to find the most
realistic solution. It is assumed that hyperspectral image data resides in a low-dimensional manifold
contained in a high-dimensional space.This condition can be confirmed if there is a low frequency of
metamers in the pixel spectral distribution of the image. Algorithms for hyperspectral data synthesis
were implemented and tested using linear regression techniques, clustering, and multilayer perceptron
neural networks. In the initial stage, a hyperspectral image dataset provided by ICVL (Interdisciplinary
Computational Vision Laboratory) was used. Subsequently, images of urban and rural scenes,
flames, prescribed burns, and wildfires were captured and processed using hyperspectral and RGB
cameras to compose the image datasets utilized in this research.The employed methodology enabled
the synthesis of hyperspectral images in both the visible light and near-infrared (NIR) ranges, from
RGB images projected onto the image sensor space. It also provided methods for hyperspectral images
synthesis based on RGB images generated by the Specim IQ camera, as well as those produced
by a conventional low-cost RGB camera. An important result of this research was to confirm the identification
of a signal in the NIR range, originating from the decay of electrons in potassium atoms,
which can be used as a marker for Wildfire tracking.
Assunto
Engenharia elétrica, Incêndios florestais - Prevenção e controle, Câmeras, Redes neurais (Computação), Aprendizado do computador
Palavras-chave
Aprendizado de máquina, Rede neural, Clustering, Regressão linear, Imagem hi- perespectral, Detecção de incêndio florestal