WordCount Hadoop计数.docVIP

Hadoop Streaming是Hadoop提供的多语言编程工具，通过该工具，用户可采用任何语言编写MapReduce程序，本文将介绍几个Hadoop Streaming编程实例，大家可重点从以下几个方面学习： （1）对于一种编写语言，应该怎么编写Mapper和Reduce，需遵循什么样的编程规范 （2） 如何在Hadoop Streaming中自定义Hadoop Counter （3） 如何在Hadoop Streaming中自定义状态信息，进而给用户反馈当前作业执行进度 （4） 如何在Hadoop Streaming中打印调试日志，在哪里可以看到这些日志 （5）如何使用Hadoop Streaming处理二进制文件，而不仅仅是文本文件 我已经在多篇文章中介绍了Hadoop Streaming，如果你对它还不了解，可以阅读：“Hadoop Streaming 编程”，“Hadoop Streaming高级编程”等文章。 本文重点解决前四个问题，给出了C++和Shell编写的Wordcount实例，供大家参考。 1. C++版WordCount （1）Mapper实现（mapper.cpp） 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 #include iostream #include string using namespace std; int main() { ??string key; ??while(cin key) { ????cout key \t 1 endl; ????// Define counter named counter_no in group counter_group ????cerr reporter:counter:counter_group,counter_no,1\n; ????// dispaly status ????cerr reporter:status:processing......\n; ????// Print logs for testing ????cerr This is log, will be printed in stdout file\n; ??} ??return 0; } （2）Reducer实现（reducer.cpp） 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 #include iostream #include string ? using namespace std; int main() { //reducer将会被封装成一个独立进程，因而需要有main函数 ??string cur_key, last_key, value; ??cin cur_key value; ??last_key = cur_key; ??int n = 1; ??while(cin cur_key) { //读取map task输出结果 ????cin value; ????if(last_key != cur_key) { //识别下一个key ??????cout last_key \t n endl; ??????last_key = cur_key; ??????n = 1; ????} else { //获取key相同的所有value数目 ??????n++; //key值相同的，累计value值 ????} ??} ??cout last_key \t n endl; ??return 0; } （3）编译运行 编译以上两个程序： g++ -o mapper mapper.cpp g++ -o reducer reducer.cpp 测试一下： echo “dong xicheng is here now, talk to dong xicheng now” | ./mapper | sort | ./reducer 注：上面这种测试方法会频繁打印以下字符串，可以先注释掉，这些字符串hadoop能够识别 reporter:counter:counter_group,counter_no,1 reporter:status:processing…… This is log, will be printed in stdout file 测试通过后，可通过以下脚本将作业提交到集群中（run_cpp_mr.sh）： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 #!/bin/bash HADOOP_HOME=/opt/yarn-client INPUT_PATH=/test/input O