Please use this identifier to cite or link to this item:
http://hdl.handle.net/1843/SLSS-8GQJNA
Type: | Dissertação de Mestrado |
Title: | Verificação de unicidade de URLs em coletores de páginas Web |
Authors: | Wallace Favoreto Henrique |
First Advisor: | Nivio Ziviani |
First Referee: | Edleno Silva de Moura |
Second Referee: | Marco Antônio Pinheiro de Cristo |
Abstract: | Uma das principais dificuldades existentes no desenvolvimento de um coletor de páginas web está no componente verificador de unicidade de URLs, pois estruturas de dados complexas são exigidas para garantir que a identificação das URLs ainda não coletadas seja feita de forma eficaz e eficiente. Caso o verificador de unicidade de URLs não ofereça eficácia e eficiência, os outros componentes do coletor serão prejudicados. Neste trabalho, apresentamos um novo algoritmo para verificar unicidade de URLs chamado VEUNI (VErificador de UNIcidade de URLs).O algoritmo VEUNI foi comparado com o melhor algoritmo conhecido na literatura, o qual foi considerado um baseline nos experimentos. O estudo comparativo entre o algoritmo VEUNI e o algoritmo baseline foi realizado por meio de uma simulação de uma coleta de aproximadamente 350 milhões de páginas, utilizando uma coleção de referência chamada ClueWeb09. Os resultados experimentais mostram que o algoritmo proposto é uma alternativa que pode ser utilizada com êxito em coletores de páginas que visam ser escaláveis para toda a Web. |
Abstract: | One of the main difficulties in the development of a web crawler is in the component for verifying URL uniqueness, since complex data structures are required to ensure that the identification of URLs still not collected will be performed effectively and efficiently.If the component for verifying URL uniqueness is not effective and efficient, the performance of the other web crawler components will be affected.In this work we present a new algorithm for verifying URLs uniqueness, referred to as VEUNI (VErificador de UNIcidade de URLs).The algorithm VEUNI was compared with the best known algorithm in the literature, which was considered a baseline in the experiments.The comparative study between the algorithm VEUNI and the baseline was performed through a simulation of a collection of approximately 350 million pages, using a reference collection called ClueWeb09.Experimental results show that the proposed algorithm is an alternative that can be successfully used in web crawlers designed to be scalable to the entire Web. |
Subject: | Computação Recuperação de informação |
language: | Inglês |
Publisher: | Universidade Federal de Minas Gerais |
Publisher Initials: | UFMG |
Rights: | Acesso Aberto |
URI: | http://hdl.handle.net/1843/SLSS-8GQJNA |
Issue Date: | 10-Mar-2011 |
Appears in Collections: | Dissertações de Mestrado |
Files in This Item:
File | Description | Size | Format | |
---|---|---|---|---|
wallacefavoreto.pdf | 1.05 MB | Adobe PDF | View/Open |
Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.