《大数据与云计算》课件——18.大数据分析案例.pptxVIP

大数据与云计算智能建造技术专业资源库

知识点大数据分析案例（一）

3交通流量分析1日志分析2电商购买记录分析大数据分析案例

日志分析大规模系统每天会产生大量的日志，日志是企业后台服务系统的重要组成部分，企业每天通过日志分析监控可以及时地发现系统运行中出现的问题，从而尽量将损失减小到最少。由于企业中的日志数据一般规模比较庞大，需要Hadoop这样的大数据处理系统来处理大量的日志。

日志分析以一个运行一段时间的Hadoop集群产生的日志文件为例，来说明使用Hadoop来进行日志分析的过程。现在我们有Hadoop运行的日志文件，需要找出WARN级别的日志记录信息，输出结果信息包括日志文件中的行号和日志记录内容。该问题的解决方法是采用类似Grep的方法，在Map阶段对输人的每条日志记录匹配查找,如果有匹配关健字WARN，则产生行号,记录内容这样的key-value键值对；在Reduce阶段,则基本不采取任何操作，只是把所有的key-value键值对输出到HDFS文件中。关键部分代码：

日志分析publicstaticciassMyMapperextendsMapperLongWritable,Text,Longhritable,Test{publicvoidmap(Longwritablelinenumber,Textline,Contextcontext)throwsIOException,InterruptedException{Stringpattern=context.getConfiguration().get(grep);Stringlinecontent=line.toString();if(linecontent.index0f(pattern)==-1){return;}context.write(linenumber,line);}}publicstaticclassMyReducerextendsReducerLongWritable,Text,Longlwritable,Text{publicvoidreduce(LongWritablelinenumber,IterableTextline,Contextcontext)throwsIOException,InterruptedException{for(Textelement:line){context.write(linenumber.element);}}}

日志分析详细完整的代码和数据可以从GitHub上下载(ttps://github.com/bdintro/bdintro.git)。编译源代码采用mvnpackage的方式，测试数据为hadoopuser-datanodedell119.log.zip.在测试之前先把对应数据上传到HDFS集群中，把使用mvnpackage编译好的jar文件复制到Hadoop集群节点上，当前测试为复制到del119机器上。

日志分析启动如下命令，执行日志分析任务./bin/hdfsdfs/user/root/log/output./bin/hadoopjar/home/qzhong/bigdata-0.0.1.jar\bigdata.bigdata,.GrepWARN/user/r