项目8 MapReduce实例.pptxVIP

项目八 MapReduce实例8.1实训一 实现Map/Reduce的C语言实例8.1.1实训内容 Map/Reduce操作代表了一大类的数据处理操作方式，为了让大家对Map/Reduce的工作过程有一个直观的了解，下面的程序采用C语言实现了一个简单经典的Map/Reduce计算，计算从控制台输入的字符串中单词的计数。本实训使用C语言编写程序，完成my_map()和my_reduce()函数的编写，实现了对字符串的Map和Reduce操作。8.1.2实训目的1、了解Map/Reduce的工作流程；2、掌握Map/Reduce的单节点编程和运行。8.1.3实训步骤步骤1：编写代码。如下所示：[root@node1 ~]$vi mapreduce.c输入以下编写代码：/*文件名：mapreduce.c*/#include stdio.h#include string.h#include stdlib.h#define BUF_SIZE 2048int my_map(char *buffer,char (*mapbuffer)[100]);int my_reduce(char (*mapbuffer)[100],char (*reducebuffer)[100],int *count,int num);int main(int argc, char *argv[]) { char buffer[BUF_SIZE]; //定义存储字符串的缓冲区 char mapbuffer[BUF_SIZE][100]; //定义存储map结果的缓冲区 char reducebuffer[BUF_SIZE][100]; //定义存储reduce结果的缓冲区 int count[BUF_SIZE]={0}; //定义每个单词计数数组 int num; //单词总数 int i; int countnum; //归约后的结果数 fgets(buffer, BUF_SIZE - 1, stdin); buffer[strlen(buffer)-1]=\0; //将字符串最后的回车符改为结束符 num=my_map(buffer,mapbuffer); //调用map函数处理字符串（接上页）printf(This is map results:\n); for(i=0;inum;i++) { printf(%s\t1\n,mapbuffer[i]); } countnum=my_reduce(mapbuffer,reducebuffer,count,num);//调用reduce函数处理字符串 printf(This is reduce results:\n); for(i=0;icountnum;i++) { printf(%s\t%d\n,reducebuffer[i],count[i]); }}// map函数，输入参数为字符串指针buffer，map后的结果通过mapbuffer参数传出// 函数返回值为字符串中单词个数int my_map(char *buffer,char (*mapbuffer)[100]) { char *p; int num=0; if(p=strtok(buffer, )) { strcpy(mapbuffer[num],p); num++; } else return num; while(p=strtok(NULL, )) { strcpy(mapbuffer[num],p); num++; } return num;}// reduce函数，输入参数为字符串map后的结果mapbuffer和单词个数num// reduce结果通过reducebuffer和count参数传出// 函数返回值为reduce的结果个数int my_reduce(char (*mapbuffer)[100],char (*reducebuffer)[100],int *count,int num) { int i,j; int flag[BUF_SIZE]={0}; char tmp[100]; int countnum=0; for(i=0;inum;i++) { if(flag[i]==0) { strcpy(tmp,mapbuffer[i]); flag[i]=1; strcpy(reducebuffer[countnum],mapbuffer[i]); count[countnum]=1; for(j=0;jnum;j++) {if(memcmp(tmp