Fastensor: a tensor framework for spatiotemporal description

Abstract

A representação da informação espaço-temporal é um campo de pesquisa com aplicações em diversas áreas, como indexação de vídeos, vigilância, interfaces homemcomputador, para citar alguns exemplos. Problemas de grandes massas de dados (Big Data) agora estão sendo tratados com ferramentas de Deep Learning, no entanto, ainda temos espaço para melhorias na descrição de baixo nível. Além disso, ainda temos problemas que envolvem pequena quantidade de dados nos quais o aumento de dados (data augmentation) e outras técnicas não são suficientes. Nossa principal contribuição é o desenvolvimento de um arcabouço para representação espaço-temporal usando tensores de orientação: Features As Spatiotemporal Tensors (FASTensor). Essa estrutura pode ser usada em vídeos ou imagens multitemporais. A primeira etapa do método proposto é a extração de vetores de características de baixo nível. Em seguida, o tensor de orientação criado a partir de cada vetor de características será acumulado para cada imagem/quadro. Com o tensor de orientação, podemos capturar não apenas as informações do vetor de características, mas como também toda a tendência da característica usada. Para validar nossos descritores, usamos três aplicações diferentes: Reconhecimento de Ações Humanas, Classificação Vídeos Pornográficos e Classificação de Células de Melanoma, para o qual contribuímos com uma nova base de imagens multitemporais. A base de dados Melanoma Cancer Cells é um conjunto pequeno de dados que não pode ser aumentado devido à dificuldade de extração e à natureza do movimento. Nossos experimentos para este problema podem ser usadas em outras análises de tratamento de células cancerígenas. A avaliação de nosso framework consiste em uma tarefa de classificação dessas aplicações usando um classificador SVM. Em resumo, nossa hipótese é de que os tensores de orientação podem ser usados como representação espaço-temporal compacta, possibilitando redução de dimensão e invariância, de acordo com a característica usada para criá-los. Nossos experimentos e provas contribuem para isso, já que os resultados foram competitivos, além de serem rápidos e simples de implementar, computacionalmente.