Um ambiente de programação para sistemas distribuídos com grande volume de dados
Carregando...
Arquivos
Data
Autor(es)
Título da Revista
ISSN da Revista
Título de Volume
Editor
Universidade Federal de Minas Gerais
Descrição
Tipo
Dissertação de mestrado
Título alternativo
Primeiro orientador
Membros da banca
Walfredo da Costa Cirne Filho
Dorgival Olavo Guedes Neto
Wagner Meira Junior
Dorgival Olavo Guedes Neto
Wagner Meira Junior
Resumo
Formigueiro é uma implementação de um ambiente de programação paralelo baseado no modelo de fluxo de dados. O fluxo de dados é um modelo comprovadamente eficiente para o processamento de grandes volumes de dados e funciona como uma linha de processamento, onde cada estágio processa o dado e o modela para o estágio seguinte, seguindo o fluxo da linha. Estágios sobrecarregados podem ser replicados, obtendo-se uma linha uniforme, onde o fluxo de dados é constante.Neste trabalho, são apresentadas as principais características do modelo e do ambiente de programação: filtros e cópias transparentes, divisão dos dados por cópias, comunicação por fluxo, estados distribuídos através de fluxo rotulado e utilização do sistema. Também serão apresentados resultados de duas aplicações desenvolvidas sobre o Formigueiro, mostrando que o sistema é escalável, podendo alcançar desempenhos superlineares.A implementação e o modelo de programação do Formigueiro são baseados no DataCutter, um sistema desenvolvido pela University of Maryland e Ohio State University. A adição de novas características, como o fluxo rotulado e a interface de divisão de tarefas, permite que uma categoria maior de aplicações possa ser trabalhada no ambiente.
Abstract
Anthill is an implementation of a parallel programming environment, based on filter-stream model. Filter-stream is an efficient model for processing large ammounts of data and works as a network pipeline, where each stage processes data and transmits the result for the next one. Stages heavily loaded can be replicated, balancing the load among the pipeline components and having a constant data flow. In this work, the features of the programming model and the environment are presented: filters and transparent copies, data parallelism interface, stream communication, distributed state through labeled streams and system usage. Results of two real applications that make use of our system will also be presented, showing. Anthill can reach superlinear speedups. Anthill implementation is based on DataCutter, a system developed by University of Maryland and the Ohio State University. The addition of new features, like labeled stream and work division interface, makes it possible for a greater range of applications to be run in the environment.
Assunto
Palavras-chave
Dados, Sistemas