Structure-aware multi-scale reasoning for image-based social relation recognition

Abstract

As sociedades modernas são compostas por estruturas complexas que emergem das relações entre indivíduos, e a compreensão desses arranjos tem o potencial de se tornar uma ferramenta poderosa para sistemas inteligentes. Os métodos atuais de reconhecimento de relações sociais baseados em imagens isolam informações específicas da entrada com intuito de capturar aspectos essenciais que definem esses relacionamentos. No entanto, esta é uma abordagem imprecisa para analisar relações sociais, uma vez que a interação entre todas essas partes forma uma estrutura intrincada, sendo tão valiosa quanto as informações que cada componente carrega individualmente. Por esse motivo, é crucial capturar a estrutura social original para alcançar o raciocínio de alto nível necessário para identificar os relacionamentos de forma adequada. Neste trabalho, uma nova abordagem para interpretar métodos de reconhecimento de relacionamento social baseados em imagens é apresentada, considerando três escopos distintos de análise, denominados escalas sociais, relacionados a informações individuais, relativas e gerais. Além disso, também é avaliado como os dados dessas diferentes perspectivas sociais são combinados, levando em conta a capacidade de capturar dependências e restrições em múltiplas escalas. O Social Knowledge Graph (SKG) é proposto com base nas conclusões obtidas da análise conduzida, produzindo uma representação capaz de replicar a estrutura social da imagem de entrada. Essa representação única é explorada por meio da Social Graph Network (SGN), aplicando estratégias específicas de agregação de features, conforme as informações embutidas na estrutura do grafo. O desempenho do método proposto foi avaliado em benchmarks bem estabelecidos, alcançando um novo estado da arte. Finalmente, uma análise profunda da metodologia e dos conceitos por trás dela é conduzida, fornecendo uma visão sobre o processo de decisão do modelo proposto e obtendo resultados que suportam a nova interpretação dos métodos de reconhecimento de relações sociais.