Learning to detect good keypoints to match non-rigid objects in RGB images

Abstract

Detecção descrição e correspondência de pontos de interesse são componentes essenciais de muitas aplicações de visão computacional. Ao longo dos anos, vários algoritmos foram propostos para resolver tarefas de detecção e descrição de pontos de interesse. Com a revolução do aprendizado profundo, os métodos baseados em algoritmos de aprendizado para detecção e descrição de pontos de interesse superaram os métodos artesanais. A fim de melhorar a correspondência, propomos a detecção e descrição de pontos de interesse aprendidos em conjunto. No entanto, esses métodos pretendem melhorar as correspondências de forma indireta por meio da similaridade dos descritores. Devido a isso, alguns métodos propõem incluir correspondências no pipeline de treinamento, porém não com correspondências verdadeiras dos descritores que estão treinando, culminando em um baixo número de correspondências corretas. Além disso, os métodos para detectar pontos de interesse não se preocupam com a deformação não rígida dos objetos; portanto, a robustez a deformações não rígidas também é um fator chave a ser considerado ao localizar pontos para correspondência visual. Neste trabalho, mostramos que um alto número de correspondências corretas pode ser alcançado aprendendo como detectar bons pontos de interesse independentemente do método descritor. E apresentamos um novo método de aprendizado de máquina para a detecção de ponto-chave projetado para maximizar o número de correspondências corretas para a tarefa de correspondência de imagem não rígida. Nossa estratégia de treinamento usa correspondências verdadeiras, obtidas combinando pares de imagens anotadas com um extrator de descritor predefinido, como groundtruth para treinar uma rede neural convolucional (CNN) de maneira semi-supervisionada. Otimizamos a arquitetura do modelo aplicando transformações geométricas conhecidas às imagens como sinal de supervisão. Experimentos mostram que nosso método supera os detectores de ponto-chave existentes em imagens reais de objetos não rígidos em 20 p.p. na Mean Matching Accuracy e também melhora o desempenho da correspondência de vários descritores quando acoplados ao nosso método de detecçãoao. Também empregamos o método proposto em uma aplicação desafiadora: recuperação de objetos, ao qual o nosso detector apresenta desempenho no mesmo nível dos melhores detectores de ponto-chave disponíveis.