Face attribute representation across the layers, channels and neurons of face recognition neural networks

Abstract

As representações aprendidas por redes profundas são os descritores estado-da-arte para métodos de reconhecimento facial. Essas representações codificam características latentes que são difíceis de serem explicadas, o que compromete a confiança e interpretabilidade de suas predições. A maior parte das tentativas de se explicar essas características são técnicas de visualização, cuja principal limitação é relativa à sua subjetividade. Ao invés das visualizações, este trabalho propõe a utilização de camadas intermediárias da rede para classificar atributos faciais. A performance obtida por esses classificadores é utilizada como um indicador do quão bem aquele atributo é aprendido implicitamente naquela camada. Essa análise pode ainda ser combinada com uma técnica de seleção de variáveis para estabelecer precisamente a localização dos neurônios relevantes para cada atributo. De acordo com os experimentos, atributos que codificam gênero, utilização de óculos e chapéu podem ser preditos com uma acurácia superior a 96% através da saída de um único neurônio. Essa performance é apenas 3 pontos percentuais inferior a métodos estado da arte que foram supervisionados para predizer esses atributos, o que indica que estes atributos são muito bem definidos dentro da rede de reconhecimento facial.