Human activity recognition based on wearable sensors using multiscale DCNN ensemble

Abstract

Reconhecimento de atividades humanas baseado em sensores, fornece valiosa informação para muitas áreas, como médica, militar e de segurança. Recentemente, os dispositivos vestíveis ganharam espaço como uma fonte relevante de dados sensoriais devido à facilidade da captura, ao grande número de pessoas que usam esses dispositivos e ao conforto e conveniência do dispositivo. Além disso, o grande número de sensores presentes nesses dispositivos fornece complementariedade, pois a informação dada por cada sensor é diferente. No entanto, existem dois problemas: a heterogeneidade entre os dados de vários sensores e a natureza temporal dos dados do sensor. Nós acreditamos que o uso de múltiplos sensores fornecem informações valiosas se lidarmos com os dados da maneira correta. Para lidar com o primeiro problema, propomos processar cada sensor separadamente, aprendendo as features e realizando a classificação da atividade antes da fusão com os outros sensores. Para explorar o segundo problema, usamos uma abordagem para extrair padrões em várias escalas temporais dos dados. Isso é conveniente, pois os dados já são uma sequência temporal e as múltiplas escalas extraídas fornecem informações significativas sobre as atividades realizadas pelos usuários. Nós extraímos várias escalas temporais usando um agrupamento de redes neurais de convolução profunda (DCNN). Neste agrupamento usamos um kernel convolucional com uma altura diferente para cada DCNN. Considerando que o número de linhas no dado cru do sensor reflete os dados capturados ao longo do tempo, cada altura do kernel reflete uma escala temporal da qual podemos extrair padrões. Desta maneira, nossa abordagem é capaz de extrair desde padrões de movimento simples, como uma torção de pulso ao pegar uma colher até movimentos complexos, como o caminhar humano. Essa abordagem multimodal e multi-temporal supera os trabalhos anteriores em sete importantes conjuntos de dados usando dois protocolos diferentes de avaliação. Também demonstramos que o uso do agrupamento de kernels de DCNNs proposto melhora o reconhecimento de atividades humanas baseado em sensor em outra abordagem multi-kernel, a amplamente utilizada Inception Network.