1. Repositório Institucional da UFMG
  2. Publicações Científicas e Culturais
  3. Artigo de Periódico
Please use this identifier to cite or link to this item: http://hdl.handle.net/1843/61947
Full metadata record
DC FieldValueLanguage
dc.creatorLucas Miguel Simões Poncept_BR
dc.creatorWalter Dos Santospt_BR
dc.creatorWagner Meira Jr.pt_BR
dc.creatorDorgival Guedespt_BR
dc.creatorDaniele Lezzipt_BR
dc.creatorRosa M. Badiapt_BR
dc.date.accessioned2023-12-12T20:27:30Z-
dc.date.available2023-12-12T20:27:30Z-
dc.date.issued2019-
dc.citation.volume10pt_BR
dc.citation.issue19pt_BR
dc.identifier.doihttp://dx.doi.org/10.1186/s13174-019-0118-7pt_BR
dc.identifier.issn1869-0238pt_BR
dc.identifier.urihttp://hdl.handle.net/1843/61947-
dc.description.abstractA computação de alto desempenho (HPC) e o processamento massivo de dados (Big Data) são duas tendências que estão começando a convergir. Nesse processo, aspectos de arquiteturas de hardware, suporte de sistemas e paradigmas de programação estão sendo revisitados de ambas as perspectivas. Este artigo apresenta a nossa experiência neste caminho de convergência com a proposta de um quadro que aborda algumas das questões de programação derivadas dessa integração. Nossa contribuição é o desenvolvimento de um ambiente integrado que integre (i) COMPSs, um framework de programação para o desenvolvimento e execução de aplicações paralelas para infraestruturas distribuídas; (ii) Lemonade, ferramenta de mineração e análise de dados; e (iii) HDFS, o sistema de arquivos distribuídos mais utilizado para sistemas de Big Data. Para validar nossa estrutura, usamos Lemonade para criar aplicativos COMPSs que acessam dados por meio de HDFS e os comparamos com aplicativos equivalentes construídos com Spark, uma estrutura popular de Big Data. Os resultados mostram que a integração do HDFS beneficia os COMPSs ao simplificar o acesso aos dados e ao reorganizar a transferência de dados, reduzindo o tempo de execução. A integração com o Lemonade facilita o uso de COMPSs e pode ajudar na sua popularização na comunidade de Data Science, ao fornecer implementações eficientes de algoritmos para especialistas do domínio de dados que desejam desenvolver aplicações com maior nível de abstração.pt_BR
dc.description.resumoHigh-performance computing (HPC) and massive data processing (Big Data) are two trends that are beginning to converge. In that process, aspects of hardware architectures, systems support and programming paradigms are being revisited from both perspectives. This paper presents our experience on this path of convergence with the proposal of a framework that addresses some of the programming issues derived from such integration. Our contribution is the development of an integrated environment that integretes (i) COMPSs, a programming framework for the development and execution of parallel applications for distributed infrastructures; (ii) Lemonade, a data mining and analysis tool; and (iii) HDFS, the most widely used distributed file system for Big Data systems. To validate our framework, we used Lemonade to create COMPSs applications that access data through HDFS, and compared them with equivalent applications built with Spark, a popular Big Data framework. The results show that the HDFS integration benefits COMPSs by simplifying data access and by rearranging data transfer, reducing execution time. The integration with Lemonade facilitates COMPSs’s use and may help its popularization in the Data Science community, by providing efficient algorithm implementations for experts from the data domain that want to develop applications with a higher level abstraction.pt_BR
dc.description.sponsorshipCNPq - Conselho Nacional de Desenvolvimento Científico e Tecnológicopt_BR
dc.description.sponsorshipFAPEMIG - Fundação de Amparo à Pesquisa do Estado de Minas Geraispt_BR
dc.description.sponsorshipCAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superiorpt_BR
dc.format.mimetypepdfpt_BR
dc.languageengpt_BR
dc.publisherUniversidade Federal de Minas Geraispt_BR
dc.publisher.countryBrasilpt_BR
dc.publisher.departmentICX - DEPARTAMENTO DE CIÊNCIA DA COMPUTAÇÃOpt_BR
dc.publisher.initialsUFMGpt_BR
dc.relation.ispartofJournal of Internet Services and Applicationspt_BR
dc.rightsAcesso Abertopt_BR
dc.subjectCOMPSspt_BR
dc.subjectHigh-performance computingpt_BR
dc.subjectBig datapt_BR
dc.subjectHDFSpt_BR
dc.subjectLemonadept_BR
dc.subject.otherProgramaçãopt_BR
dc.subject.otherComputação de alto desempenhopt_BR
dc.subject.otherBig datapt_BR
dc.subject.otherProcessamento de dadospt_BR
dc.titleUpgrading a high performance computing environment for massive data processingpt_BR
dc.title.alternativeAtualizando um ambiente de computação de alto desempenho para processamento massivo de dadospt_BR
dc.typeArtigo de Periódicopt_BR
dc.url.externahttps://jisajournal.springeropen.com/articles/10.1186/s13174-019-0118-7pt_BR
dc.identifier.orcidhttp://orcid.org/0000-0002-1480-0039pt_BR
dc.identifier.orcidhttps://orcid.org/0000-0003-0865-1417pt_BR
Appears in Collections:Artigo de Periódico

Files in This Item:
File Description SizeFormat 
Upgrading a high performance computing environment for massive data processing.pdf20.36 MBAdobe PDFView/Open
Show simple item record


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.