《skh629-论文终稿v2.0》.docVIP

目录 摘 要 II 关键词 II ABSTRACT III KEYWORDS III 1 前言 1 1.1有哪些信誉好的足球投注网站引擎的发展 1 1.2课题背景 1 1.3设计目标 2 2 PageRank计算和OPIC算法 3 2.1 PageRank 3 2.1.1 PageRank的定义 3 2.1.2 PageRank的推导 4 2.1.3随机漫步模型 5 2.1.4 PageRank的计算 5 2.2对PageRank原型的实现与改进：OPIC算法 7 3 页面相似度和主题页 8 3.1文档相似度计算 8 3.2主题页的筛选和索引 10 3.3优化排序的其它研究 10 4 系统分析和设计 11 4.1 Nutch与Hadoop简介 11 4.2 分布式并行处理 12 4.2.1 MapReduce 12 4.2.2 Hadoop的分布式并行计算 13 4.3系统剖析 15 4.3.1架构概述 15 4.3.2爬虫 15 4.3.3索引 16 4.3.4有哪些信誉好的足球投注网站 17 5 实验的结果 18 6 课题总结 20 参考文献 22 致谢 24 大规模分布式有哪些信誉好的足球投注网站引擎的研究和基于Nutch的实验 摘 要 本文将介绍一个基于Nutch和Hadoop，部署在Beowulf集群上进行有哪些信誉好的足球投注网站的大规模有哪些信誉好的足球投注网站引擎的实验原型。 在有哪些信誉好的足球投注网站引擎实验平台上，提出一种新的排名机制。算法将运行在一个特殊的主题的索引上，有哪些信誉好的足球投注网站引擎执行这个排名机制。构建一个基于网页内数据来进行连接的网络，使用户轻易地在更具体的信息片断间实现连接 Distributed large-scale search engine research and a experiment based on Nutch ABSTRACT This paper introduce an experiment prototype for large-scale search engine,which is based on Nutch and Hadoop, and deployed in Beowulf Clusters . On the platform of the experiment prototype , the author of this paper proposes a new ranking system. The algorithm run in the index with a special theme page.The search engine run the ranking system. In addition to gain a better check-rate, the idea of “Theme Store”explores the construction of a network linked by web-based data, so as to make users connection between more specific information passages. This paper mainly discusses how to build a practical large-scale search engine system and run it on Beowulf Cluster, composed of Personal Computers. Such core algorithm as PageRank algorithm is also discussed in this paper. Keywords Search Engine,Distributed Computing,Theme Page, PageRank ,TimePartner 1 前言 互联网发展至今，有哪些信誉好的足球投注网站引擎的技术也日趋成熟起来，对其创新也日渐困难。但同时由于互联网的海量规模、异构、动态等特性，使得互联网信息检索更具有挑战性。 1.1有哪些信誉好的足球投注网站引擎的发展 1994年Lycos和Yahoo!的出现，标志着真正意义上的基于Intenet的有哪些信誉好的足球投注网站引擎的诞生。1994年7月20日，数据量为54,000的Lycos正式发布。1995年末，AltaVista的出现,它是第一个支持自然语言有哪些信誉好的足球投注网站也是第一个实现高级有哪些信誉好的足球投注网站语法的有哪些信誉好的足球投注网站引擎，2002年6月，AltaVista宣称其已抓取11亿个Web页面。1998年，Google在Pagerank、动态摘要、网页快照等集有哪些信誉好的足球投注网站、多语言支持等功能上的革新，像AltaVista一样，再一次改变了有哪些信誉好的足球投注网站引擎的定义。互联网的增长速度也一直呈爆炸式增长。据不完全统计，05年初Google已经收录了80亿5千8百万个网页出于市场运作的考虑，这些数据往往不同程度地被加入了一些