基于Mahout框架的Hadoop平台作业日志分析平台设计与实现--曹政分析.doc

基于Mahout框架的Hadoop平台作业日志分析平台设计与实现 曹政 （） 摘要： Yarn的出现，集群的规模越来越大。在Hadoop生态圈中对集群运行状态的开源实现已经很成熟，但是尚未有对一个对Hadoop作业的运行趋势进行统计分析的平台。本文介绍了一个面向Hadoop Yarn的作业资源统计分析平台，面向集群管理员与普通用户，以时间、用户双维度对作业进行统计分析，得出一个Hadoop作业运行的标准。 关键词：关键词1adoop；3;Yarn；4;作业分析;5；机器学习;5；Mahout 中图分类号：P399 文献标识码：The Design And Implementation Of Hadoop’s Log Statistics Analysis System Based On Mahout Cao Zheng1 1(School of Computer Science and Technology, Beijing University of Posts and Telecommunications, Beijing 100876, China) 【Abstract 】 With the wild use of Hadoop and appearance of Hadoop Yarn, the scale of clusters is getting larger. And the Open source implementation of the clusters operating state monitor system in the Hadoop ecosystem has been very mature, but there is not yet a platform for statistical analysis of the running trend of the Hadoop Jobs. In this paper, a job resource statistical analysis platform Yarn Hadoop is presented, which is for the Cluster Administrator and the ordinary users, with the double dimension of date and user to analyze the job, and get the standard of Hadoop operation. 【Key words】Big Data; adoop;Yarn;Job Analyzer; Machine Learning;Mahout 引言 由Google公司于2004年提出的MapReduce并行计算框架目前被广泛应用于解决大规模数据处理问题。Hadoop是Apache基金会所开发的分布式系统基础架构，是Google的MapReduce编程模型的开源实习。由于Hadoop生态圈的日渐成熟，Hadoop逐渐成为许多互联网公司基础计算平台的一个核心部分。本系统在实现一个面向Hadoop生态圈的一个增强的监控分析平台。 MapReduce拥有诸多良好特性,如负载平衡、高可扩展性以及容错等[1]。MapReduce是当前工业界和学术界最有效的大规模数据处理问题并行解决方案之一[]。但由于Hadoop编程的可控性与编程人员的参差不齐，在Hadoop集群的使用过程中经常发生难以预料的错误。Hadoop日志是用户定位问题的最重要渠道，Hadoop集群也专门配置了History Server来让开发人员使用以了解其提交的作业执行情况，比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。但对较长期的日志展示分析效果欠佳，集群管理人员和开发人员难以了解整个集群的指标聚合指标[3]。 本系统旨在基于Hadoop集群记录的作业运行日志和配置信息，统计作业在时间和用户两个维度上的运行指标，并针对一个具体作业，分析作业内任务的执行情况，进而为作业优化提供数据参考。目前笔者使用的线上集群规模为500台主机，内存为32TB，日均JOB数为两万左右。传统的作业分析软件如集群监控软件：Nigos、Ganglia、Flume等已无法满足监控需求，普通用户与集群管理员都迫切需要一个任务分析平台 hadoop生态圈相关简介 Hadoop是一个集成了了分布式文件系统HDFS和大规模 MapReduce 的开源框架简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。超过单机尺度的数据处理诞生v2)、Mahout、HDFS、Hive、S