Please use this identifier to cite or link to this item: http://hdl.handle.net/1843/ESBF-B6CGGA
Type: Dissertação de Mestrado
Title: Extensão de um ambiente de computação de alto desempenho para o processamento de dados massivos
Authors: Lucas Miguel Simões Ponce
First Advisor: Dorgival Olavo Guedes Neto
First Referee: Renato Antonio Celso Ferreira
Second Referee: Philippe Olivier Alexandre Navaux
Abstract: A computação de alto desempenho (HPC) e o processamento de dados massivos (big data) são duas tendências em sistemas de computação para lidar com problemas complexos ou com grande quantidade de dados. Cada um desses sistemas se especializou em um conjunto de problemas específicos com abordagens únicas, no entanto, atualmente tais sistemas estão começando a convergir, muitas vezes provocados pela mistura de domínios de um determinado problema. Um exemplo disso é o COMP Superscalar (COMPSs), um modelo de programação paralela e distribuída originado do mundo de HPC que vem sendo integrado a novas funcionalidades usualmente relacionadas a ambientes de big data. Este trabalho apresenta nossa contribuição nesse caminho de convergência afim de processar dados massivos integrando o COMPSs ao HDFS , um dos sistemas de arquivos distribuídos mais utilizado em big data, e ao Lemonade, uma ferramenta de análise e mineração de dados desenvolvida na Universidade Federal de Minas Gerais (UFMG). Os resultados mostram que a integração com o HDFS beneficia o COMPSs não só pela abstração de dados, que simplifica o acesso aos dados, mas também pelo aumento de desempenho em execuções que precisam ler grandes volumes de dados, provocado pela reorganização da transferência de dados pela rede. Além disso, a integração com o Lemonade facilita sua utilização e popularização na área de Ciência dos Dados, fornecendo boas implementações de algoritmos e operações para especialistas do domínio de dados que desejam desenvolver e executar aplicações COMPSs com um nível mais alto de abstração.
Abstract: High performance computing (HPC) and mass data processing (big data) are two trends in computing systems for dealing with complex or large data problems. Each of these systems specializes in a set of specific problems with unique approaches, however, currently such systems are beginning to converge, often brought on by the mixing of domains of a given problem. An example of this is the Superscalar COMP (COMPSs), a parallel and distributed programming model originating from the HPC world that has been integrated into new functionalities usually related to big data environments. This paper presents our contribution on this convergence path in order to process massive data by integrating COMPS into HDFS, one of the most widely used distributed file systems in big data, and Lemonade, a data mining and analysis tool developed at Universidade Federal de Minas Gerais (UFMG). The results show that integration with HDFS benefits the COMPS not only by data abstraction, which simplifies access to data, but also by increased performance in executions that need to read large volumes of data, caused by the reorganization of data transfer by network. In addition, Lemonade integration facilitates its use and popularization in the area of Data Science by providing good implementations of algorithms and operations for data domain specialists who wish to develop and run COMPS applications with a higher level of abstraction.
Subject: Processamento de dados
Computação
Big data
Computação de alto desempenho
language: Português
Publisher: Universidade Federal de Minas Gerais
Publisher Initials: UFMG
Rights: Acesso Aberto
URI: http://hdl.handle.net/1843/ESBF-B6CGGA
Issue Date: 4-Sep-2018
Appears in Collections:Dissertações de Mestrado

Files in This Item:
File Description SizeFormat 
lucasmiguelponce.pdf1.45 MBAdobe PDFView/Open


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.