Tema4.BúsquedasenelWeb.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * Un ejemplo: Google Arquitectura * Un ejemplo: Google Funcionamiento El URLServer envía URLs a los crawlers Las páginas encontradas se envían al StoreServer para que se almacenen en el Repository (comprimidas). El Indexer lee el repositorio, descomprime los documentos y los parsea. Convierte el documento en un conjunto de ocurrencias de palabras llamadas hits. Los hits almacenan la palabra, posición en el documento, tama?o de fuente y mayúsculas. Distribuye los hits en los barrels creando el forward index parcialmente ordenado. Almacena información sobre los enlaces hallados en las páginas. El URLResolver convierte direcciones relativas en absolutas, y genera los identificadores de documentos. Genera base de datos de links para calcular el PageRank. El sorter reordena la información de los barrels por identificador de palabras en lugar de por identificador de documentos. Genera el fichero invertido. El Searcher se encarga de resolver las consultas. * Un ejemplo: Google Estructuras de datos: BigFiles. Ficheros virtuales. Repositorio. Documentos comprimidos. Indices de documentos. Lexicon. Lista completa de palabras. Hit Lists. Forward index. Ordenación parcial (barrels) Inverted index. Ordenación total (barrels) * Un ejemplo: Google El proceso de indexación: Parsing Muchos problemas por errores de sintaxis y tipos de contenidos. Indexar documento en los ‘barrels’ El parsing genera documentos que se codifican en los ‘barrels’. Ordenar Se genera el índice invertido ordenando por identificadores de palabras. * Un ejemplo: Google El proceso de búsqueda Parsing de la consulta. Conversión de palabras en identificadores. Búsqueda de comienzo de lista de documentos para cada palabra. Buscar documentos que contengan todas las palabras. Calcular el ranking de cada documento. Ordenar y mostrar los primeros k documentos. * Un ejemplo: Google Algunas