PageRank的MapReduce实现.pptVIP

PageRank的MapReduce实现 2011-09 PageRank算法介绍 PageRank算法的MapReduce实现 实现一个简单的有哪些信誉好的足球投注网站引擎 WordCount例程源码讲解 PageRank算法介绍 PageRank算法由Google创始人之一Larry Page提出，它是Google排名运算法则的一部分，是Google用来标识网页的等级/重要性的一种方法，是Google用来衡量一个网站好坏的重要标准之一。 Google通过PageRank来调整结果，使那些更具“等级/重要性”的网页在有哪些信誉好的足球投注网站结果中的排名获得提升，从而提高有哪些信誉好的足球投注网站结果的相关性和质量。该算法的基本思想是被大量高质量网页引用（链接）的网页也是高质量网页。 PageRank算法介绍 PageRank算法的MapReduce实现 实现一个简单的有哪些信誉好的足球投注网站引擎 WordCount例程源码讲解 PageRank的MapReduce实现 Step 1:分析一个页面的链接数并赋初值； Step 2:多次迭代计算页面的PageRank值； Step 3:根据PageRank值排序。 Step1 分析页面链接数 Map: -input: (0 , index.html) -output: (index.html , 1.html) (index.html , 2.html) … (index.html , n.html) 说明：输出为(key，value)键值对，key为当前网页路径，value为当前网页中的对外的链接。 Step1 分析页面链接数 Step2 迭代计算PageRank值 Map: -input: key: index.html value:PR1.html,2.html… -output: key: “1.html” Value: “index.htmlPR number of outlinks” Key: “2.html” Value:” index.htmlPR number of outlinks” …… Step2 迭代计算PageRank值 说明： step2是一个迭代过程，每次将磁盘上的文件读入，key为每一个网页链接，value的第一项为当前网页的PangRank值，后面接该网页中的对外链接。Map函数将输入的每一对(key,value)“反转”成多对(value,key)输出，也就是说，每个输出的key为输入value中的每一个链接，而输出value为输入key的链接+输入key的PR值+输入key的对外链接数。 在reduce函数中，就可以根据输入的value中的参数来计算每一个key新的PageRank值，并按Map函数的格式输出到磁盘，以作为下一次迭代的输入。迭代多次后，PageRank值趋于稳定，就得出了较为精确的PageRank值。 Step3 根据PageRank值排序 Map: -input: key: “index.html” value: “PR 1.html,2.html” -output: key: “PR” value: “index.html” Step3 根据PageRank值排序 说明：系统在处理Map函数的输出时，将把所有相同的key合并，并排序输出到Reduce函数的输入中。所以，Map函数只需要把PageRank值作为key输出，系统就会自动把key排序输出到reduce函数。Reduce函数只需依次输出每个value中的链接，就得到了按PageRank排序的网页链接。至此，算法结束。 PageRank算法介绍 PageRank算法的MapReduce实现 实现一个简单的有哪些信誉好的足球投注网站引擎 WordCount例程源码讲解 实现一个简单的有哪些信誉好的足球投注网站引擎 Step1：安装Hadoop运行环境 Step2：获取网页集合存放到HDFS中 Step3：编写MapReduce程序 *Step4：将输出结果存储到分布式数据库中 Step1 安装Hadoop运行环境 1，安装linux系统，如Ubuntu11.04，这一步网上有详细的教程，请同学们自行学习 2，在linux 平台上安装Hadoop。在Hadoop 官网(/ )下载一个Hadoop 版本：在以下页面中选择一个镜像站点下载，获取hadoop-0.20.2.tar.gz。 /dyn/closer.cgi/hadoop/common/ Step1 安装Hadoop运行环境 3，在Ubuntu系统上安装openssh-server: $sudo apt-get install op