Please use this identifier to cite or link to this item:
http://hdl.handle.net/1843/48222
Type: | Tese |
Title: | Fastensor: a tensor framework for spatiotemporal description |
Other Titles: | Fastensor: uma estrutura de tensor para descrição espaço-temporal |
Authors: | Virgínia Fernandes Mota |
First Advisor: | Arnaldo de Albuquerque Araújo |
First Co-advisor: | Jefersson Alex dos Santos |
First Referee: | William Robson Schwartz |
Second Referee: | Gabriel de Morais Coutinho |
Third Referee: | Silvio Jamil Ferzoli Guimarães |
metadata.dc.contributor.referee4: | Hélio Pedrini |
Abstract: | Spatiotemporal representation is a research field with application in various areas such as video indexing, surveillance, human-computer interfaces, among others. Big Data problems in large databases are now being treated with Deep Learning tools, however we still have room for improvement in low-level description. Moreover, we still have problems that involve small data in which data augmentation and other techniques are not enough. Our main contribution is the development of a multipurpose framework for spatiotemporal representation using orientation tensors: Features As Spatiotemporal Tensors (FASTensor). This framework can be used in videos or multitemporal images.The first step of the proposed method is the low-level feature vector extraction. Then, the orientation tensor created from each feature vector will be accumulated for each image/frame. With the orientation tensor, we can capture not only what happens in this scene, but how we begin to deform the ellipsoid created from the accumulation so that it carries the whole tendency of the feature used. To validate our descriptors, we use three different applications: Human Action Recognition, Video Pornography Classification and Melanoma Cancer Cell classification, to which we contribute with a new dataset. The Melanoma Cancer Cell dataset is a small data that can not be artificially augmented due the difficulty of extraction and the nature of motion. Our experiments for this problem can be used in other cancer cell treatment analysis. The evaluation of our tensor framework consists in a classification task of these applications using an SVM classifier. In summary, our hypothesis is that orientation tensors can be used as compact spatiotemporal representations, enabling dimension reduction and invariance. Our experiments and evidences contribute to it, as the results were competitive, while also being computationally fast and simple to implement. |
Abstract: | A representação da informação espaço-temporal é um campo de pesquisa com aplicações em diversas áreas, como indexação de vídeos, vigilância, interfaces homemcomputador, para citar alguns exemplos. Problemas de grandes massas de dados (Big Data) agora estão sendo tratados com ferramentas de Deep Learning, no entanto, ainda temos espaço para melhorias na descrição de baixo nível. Além disso, ainda temos problemas que envolvem pequena quantidade de dados nos quais o aumento de dados (data augmentation) e outras técnicas não são suficientes. Nossa principal contribuição é o desenvolvimento de um arcabouço para representação espaço-temporal usando tensores de orientação: Features As Spatiotemporal Tensors (FASTensor). Essa estrutura pode ser usada em vídeos ou imagens multitemporais. A primeira etapa do método proposto é a extração de vetores de características de baixo nível. Em seguida, o tensor de orientação criado a partir de cada vetor de características será acumulado para cada imagem/quadro. Com o tensor de orientação, podemos capturar não apenas as informações do vetor de características, mas como também toda a tendência da característica usada. Para validar nossos descritores, usamos três aplicações diferentes: Reconhecimento de Ações Humanas, Classificação Vídeos Pornográficos e Classificação de Células de Melanoma, para o qual contribuímos com uma nova base de imagens multitemporais. A base de dados Melanoma Cancer Cells é um conjunto pequeno de dados que não pode ser aumentado devido à dificuldade de extração e à natureza do movimento. Nossos experimentos para este problema podem ser usadas em outras análises de tratamento de células cancerígenas. A avaliação de nosso framework consiste em uma tarefa de classificação dessas aplicações usando um classificador SVM. Em resumo, nossa hipótese é de que os tensores de orientação podem ser usados como representação espaço-temporal compacta, possibilitando redução de dimensão e invariância, de acordo com a característica usada para criá-los. Nossos experimentos e provas contribuem para isso, já que os resultados foram competitivos, além de serem rápidos e simples de implementar, computacionalmente. |
Subject: | Computação – Teses Processamento de imagens - Teses Sistemas Multimídia - Teses Representação do conhecimento (Teoria da informação) - Teses |
language: | eng |
metadata.dc.publisher.country: | Brasil |
Publisher: | Universidade Federal de Minas Gerais |
Publisher Initials: | UFMG |
metadata.dc.publisher.department: | ICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃO |
metadata.dc.publisher.program: | Programa de Pós-Graduação em Ciência da Computação |
Rights: | Acesso Aberto |
metadata.dc.rights.uri: | http://creativecommons.org/licenses/by-nc-nd/3.0/pt/ |
URI: | http://hdl.handle.net/1843/48222 |
Issue Date: | 17-Dec-2018 |
Appears in Collections: | Teses de Doutorado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
VirginiaFernandesMota.pdf | 16.54 MB | Adobe PDF | View/Open |
This item is licensed under a Creative Commons License