Extensão de um ambiente de computação de alto desempenho para o processamento de dados massivos
Carregando...
Data
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Artigo de evento
Título alternativo
Extending a high-performance computing environment for processing massive data
Primeiro orientador
Membros da banca
Resumo
A computacao de alto desempenho (HPC) e o processamento de da-
dos massivos (Big Data) sao duas tendencias em sistemas de computacao que
estao comecando a convergir. Este trabalho apresenta nossa experiencia nesse
caminho de convergencia, estendendo o COMP Superscalar (COMPSs), um mo-
delo de programacao paralela e distribuıda ja conhecido no mundo de HPC,
para o processamento de dados massivos. Para isso, ele foi integrado ao HDFS,
sistema de arquivos distribuıdo mais usado para Big Data, e ao Lemonade,
uma ferramenta de analise e mineracao de dados desenvolvida na UFMG. Os
resultados mostram que a integracao com o HDFS beneficia o COMPSs pela
abstracao de dados fornecida e a integracao com o Lemonade facilita sua
utilizacao e popularizacao na ́area de Ciencia dos Dados.
Abstract
High performance computing (HPC) and massive data processing
(Big Data) are two trends in computing systems that are beginning to con-
verge. This paper presents our experience on this path of convergence, exten-
ding COMP Superscalar (COMPSs), a parallel and distributed programming
model already known in the world of HPC, for the processing of massive data.
For this, it has been integrated to HDFS, the most widely used distributed file
system for Big Data, and to Lemonade, a data mining and analysis tool deve-
loped at UFMG. The results show that the integration with HDFS benefits the
COMPSs by the data abstraction provided and the integration with Lemonade
facilitates its use and popularization in the area of Data Science.
Assunto
Processamento Eletrônico de Dados, Mineração de dados (Computação)
Palavras-chave
Integrated Data Processing, Mining, Data
Citação
Departamento
Curso
Endereço externo
https://sol.sbc.org.br/index.php/sbrc/article/view/2486