Semantic Hyperlapse for egocentric videos

Abstract

O surgimento de dispositivos móveis pessoais de baixo custo e câmeras portáteis, e a crescente capacidade de armazenamento de sites de compartilhamento de vídeos têm impulsionado o interesse em vídeos em primeira pessoa, também conhecidos como vídeos egocêntricos. Câmeras vestíveis, em particular, podem operar por horas sem a necessidade de manuseio contínuo. Isso leva os vídeos egocêntricos a serem de longa duração com conteúdo não editado, o que os torna entediantes e visualmente desagradáveis, pois os movimentos naturais do corpo fazem com que o vídeo fique instável, causando até mesmo enjoos. Os algoritmos de hyperlapse visam transformar vídeos longos e monótonos em vídeos de curta duração e sem transições abruptas entre os quadros. No entanto, um aspecto importante é que algumas partes dos vídeos podem ser mais importantes do que outras, portanto devem ter a sua atenção adequada. Neste trabalho, propomos uma metodologia inovadora capaz de resumir e estabilizar vídeos egocêntricos extraindo e analisando a informação semântica nos quadros. Este trabalho também descreve um novo conjunto de dados com vários vídeos rotulados e introduz uma nova métrica de avaliação de suavidade para vídeos egocêntricos. Diversos experimentos são conduzidos para mostrar a superioridade de nossa técnica sobre os algoritmos de hyperlapse do estado da arte no que diz respeito à informação semântica. De acordo com os resultados obtidos, nosso método é, em média, 10,67 pontos percentuais superior ao melhor competidor em relação à máxima quantidade semântica que pode ser obtida dado a taxa de aceleração desejada.