Upgrading a high performance computing environment for massive data processing

Abstract

A computação de alto desempenho (HPC) e o processamento massivo de dados (Big Data) são duas tendências que estão começando a convergir. Nesse processo, aspectos de arquiteturas de hardware, suporte de sistemas e paradigmas de programação estão sendo revisitados de ambas as perspectivas. Este artigo apresenta a nossa experiência neste caminho de convergência com a proposta de um quadro que aborda algumas das questões de programação derivadas dessa integração. Nossa contribuição é o desenvolvimento de um ambiente integrado que integre (i) COMPSs, um framework de programação para o desenvolvimento e execução de aplicações paralelas para infraestruturas distribuídas; (ii) Lemonade, ferramenta de mineração e análise de dados; e (iii) HDFS, o sistema de arquivos distribuídos mais utilizado para sistemas de Big Data. Para validar nossa estrutura, usamos Lemonade para criar aplicativos COMPSs que acessam dados por meio de HDFS e os comparamos com aplicativos equivalentes construídos com Spark, uma estrutura popular de Big Data. Os resultados mostram que a integração do HDFS beneficia os COMPSs ao simplificar o acesso aos dados e ao reorganizar a transferência de dados, reduzindo o tempo de execução. A integração com o Lemonade facilita o uso de COMPSs e pode ajudar na sua popularização na comunidade de Data Science, ao fornecer implementações eficientes de algoritmos para especialistas do domínio de dados que desejam desenvolver aplicações com maior nível de abstração.