mapreducePageRank算法.docVIP

Mapreduce程序设计报告 姓名： 学号： 题目： 实验环境 联想pc机 虚拟机：VM 10.0 操作系统：Centos 6.4 Hadoop版本：hadoop 1.2.1 Jdk版本：jdk-7u25 Eclipse版本：eclipse-SDK-4.2.2-linux-gtk-x86_64 实验设计及源程序 2.1实验说明 (2.1) 其中，pj为链接到网页i的所有网页。d表示阻尼因子，通常设为0.85。公式的前半部分表示一个上网者从一个随机网页开始浏览，随机浏览模型更符合用户的行为，一定程度上解决了rank sink的问题并且保证PageRank存在唯一值。公式的后半部分即表示由其他网页链接到网页i的PR值。 2.2实验设计 2.2.1 GraphBuilder GraphBuilder主要用来分析原始数据，建立各个网页之间的链接关系。 GraphBuilderMap 这个类实现的map方法是逐行分析原始数据，输出URL,(PR_init,link_list)，其中网页的URL作为key，PageRank初始值(PR_init)和网页的出度列表一起作为value，以字符串表示value，用特定的符号，如”:”将两者分开。 static class GraphBuilder_Mapper extends MapperLongWritable,Text,Text,Text { private Text url = new Text(); private Text url_list = new Text(); public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String vals[] = value.toString().split(\\s+); url.set(vals[0]); url_list.set(1:+vals[1]); //将每个网页的初始pr值设为1 context.write(url, url_list); } } 2.2.2 PangeRankIter PageRankIter主要用来迭代计算PR值，直到PR值收敛或迭代预定次数。 PageRankIterMap 这个类的map方法实现的是对GraphBuilder的输出URL,(cur_rank,link_list)产生两种key,value对，分别为u,cur_rank/|link_list|和URL,link_list，其中u表示当前URL所链接到的网页ID，并作为key；Cur_rank为当前URL的PageRank值，|link_list|为当前URL的出度数量，cur_rank/|link_list|作为value。而输出的URL,link_list保持原来图的结构。 static class PageRankIter_Mapper extends MapperLongWritable, Text, Text, Text { @Override protected void setup(Context context) throws IOException, InterruptedException { // TODO Auto-generated method stub N = 0; super.setup(context); } @Override public void map(LongWritable key, Text value,Context context) throws IOException, InterruptedException { String vals[] = value.toString().split(\\s+); String url = vals[0]; float cur = Float.parseFloat(vals[1].split(:)[0]); String url_list[] = vals[1].split(:)[1].split(,); for(String u:url_list) { float val = cur/url_list.length;