Hadoop平台在电信企业的应用实践.pdfVIP

第4l卷第4期 数 字 通 信 Vol41．No。4 72 2014年8月 25日 DigitalCommunication Aug．25 2014 DOI：10．3969／j．issn．1005—3824．2014．04．018 Hadoop平台在 电信企业的应用实践 杨国博，舒满昌，王贤稳，熊安萍 (重庆邮电大学 计算机科学与技术学院，重庆400065) 摘 要：随着电信企业的业务发展，其运营网络、业务系统及支撑系统等生产 了大量的日志数据，这些数据蕴含 了 大量有用信息，传统 日志处理方式限制了企业对海量 日志文件的处理、分析及应用。针对电信企业特定应用平台 产生的大量 日志文件 ，实践了Hadoop平 台的MapReduce编程模型，该平 台以HDFS作为底层文件 系统，以Hbase作 为可扩展的数据存储 系统，更大幅度地提高了对 日志数据分析的效率，具有较好的实用价值。 关键词：海量 日志文件；I-Iadoop；MapReduce；Hbase；HDFS 中图分类号：TP391 文献标识码：A 文章编号：1005—3824(2014l04-0072-03 日志的分析和网页数据 的挖掘工作；淘宝的Hadoop 0 引 言 系统用于存储并处理电子商务交易的相关数据；中 随着电信企业的业务发展，其运营网络、业务系 国移动研究院基于Hadoop的 “大云”(bigcloud)系 统及支撑系统等产生了大量的日志数据，且这些数 统用于对数据进行分析并对外提供服务。 据以指数级增长。日志文件往往蕴含了大量有用信 1．2 Hadoop框架 息，对其进行分析和挖掘十分必要。例如，我们可以 Hadoop是 Apache下的一个开源框架，广泛应 从运营网络系统记录的日志数据，运用数据挖掘算 用于海量数据 的处理。Hadoop的核心 由HDFS和 法及时发现通信网络的潜在问题，从而为通信网络 MapReduce来体现。HDFS(Hadoopdistributedfile 的服务质量提供保障。传统基于结构化数据的分析 system)提供了一个稳定的文件系统，Hadoop的Ma- 处理方式不能满足 日志文件等半结构化及非结构化 pReduce模型在实时并行任务处理 的时候非常方 数据的分析处理要求…，而Apache的Hadoop平台 便，程序员只需要关注具体的数据分析任务，而不必 的出现，为这类问题的解决提供了新思路，作为一个 去考虑一些底层细节。。。一个HDFS集群 由1个称 比较成熟的框架 ，它已被广泛地应用到 日志分析 、网 为名称节点 (namenode)和数个数据节点 (data 络爬虫和科学计算等领域中，包括 Yahoo，Amazon node)这 2类节点构成，这 2类节点以管理者一工作 EC2和Facebook等大型的网站 。Hadoop平台借 者模式运行。名称节点负责维护整个文件系统。数 助于 MapReduce并行编程模型对海量数据进行处 据节点是文件系统中实际的工作者，它们提供存储、 理，并提供了底层封装、任务分配、并行处理和容错 定位块的服务，并定时向名称节点汇报存储块的信 等细节技术，用户只需集中注意力在 自身要解决的 息 。此外，Hadoop还提供一个分布式数据库 分布式计算任务本身，极大地简化了分布式程序设 (HBase)用来将数据存储或部署到各个计算节点 计 引。 上 。Hbase是一个分布式开源数据库，基于Ha