基于分布式云计算技术进行海量数据运营探讨.doc

基于分布式云计算技术进行海量数据运营探讨 　　【摘 要】电信企业内部会在清单、信令、日志等多个地方生成海量数据，传统的处理方式成本高、速度慢，无法应对互联网时代快速、高效的要求。针对这一问题，采用云计算技术Hadoop集群处理海量用户清单，为业务系统和分析系统提供一个分布式可动态扩充的数据库，有效地提升了清单入库、查询和统计速度，同时硬件成本降低了90%以上。 　　【关键词】云计算 分布式 海量数据运营 Hadoop 　　中图分类号：TP315 文献标识码：A 文章编号：1006-1010（2013）-05-0084-04 　　1 前言 　　随着电信企业的业务范围拓展、服务精细化要求和IT技术发展，在企业内部或互联的IT系统中，存在着飞速膨胀的海量数据。和以往对比，现阶段企业海量数据呈现出数据量更大、数据类型复杂、处理速度要快的新特征。与此同时，越来越多的企业开始重视海量数据的处理，研发出各种海量数据处理技术，从中发现巨大的商业价值，以Google、Facebook、淘宝为代表的中外互联网企业，走出了一条以免费的基础服务为根本、以海量数据运营掘金的信息企业模式。 　　这种现象可以称作“海量数据运营”，它是以海量数据处理为基础，以服务对象为核心，以客户关系为目标来进行信息的生产、交换，商业模式更有价值，企业运作更加优化，达到盈利或提供更好服务等商业或社会目标。 　　2 电信行业面临的困境和对策 　　在传统运营模式下，电信业务从技术到商业模式相对封闭，对于IT系统中产生的数据如用户话单、信令日志、运行日志等，除了部分用于提供给用户查询，大部分用于故障处理、简单统计。而对这些海量数据的分析，面临4大技术困难： 　　（1）数据量太大，用于存储和计算的设备成本高昂； 　　（2）没有合适的工具支持，传统关系型数据库只能存储几T数据、上亿条记录； 　　（3）随着设备变更、网络升级、业务更新，原始数据模型经常变化，构建结构化模型并同步更新的难度非常大； 　　（4）分析结果无法快速有效地实施到网络或业务平台。 　　随着3G业务的发展、终端渗透率的提高和IT技术的进步，电信业务从技术到商业模式越来越开放，??务的盈利能力越来越依赖前面的终端和后面的业务平台。苹果、三星等智能终端厂家成为运营商争先拉拢的对象，移动互联网带来的大部分增量利润更多地涌向了创新型技术公司，而海量数据流量却冲击着电信网络的承载能力。 　　业务承载量增长、收入增长、利润下滑，变成全球电信运营商普遍面临的困境，把网络建好、坐等收钱的好时代已经过去，运营商的主导地位岌岌可危，被管道化的趋势越发明显。 　　面对这种局面，运营商开始提出“智能管道”、“流量经营”等思路求变，希望能够提升对用户的业务使用管理能力，寻找更好的业务模式，充分发掘网络承载能力，增加单位流量价值。一方面提升网络能力，达到精细化控制目的，如PCC（Policy Control and Charging，策略控制和计费）；另外一方面，对生产关键环节的海量数据进行细化分析，能够动态、精细化地实现有效控制和资源优化，如DPI、信令分析。其中DPI分析的上网记录每日高达30T，信令日志的数据量也以T级别增加，海量数据运营开始出现。 　　这些方面的建设当前都取得的不少成绩。在国外，相关运营商推出了定向套餐和流量控制业务，如Vodafone、BT在流量高峰时段控制P2P业务，O2优化网络让iPhone、iPad终端拥有高优先级和最大可用网速，Orange推出自有业务获得最高的端到端优先级等。 　　3 海量数据运营的探讨 　　当前的海量数据运营大部分在网络层面，充分体现了数据包、带宽、QoS、信道、小区、容量等网络特征，对三户一品（客户、用户、账户、产品）、营销、服务、计费、信控等业务特征进行了简化或弱化处理。大量数据如用户状态、业务订购关系、累计量等需要从业务侧同步到网络侧，存在着时延较长和不一致现象。 　　运营商应该建设覆盖面更广的体系，有机融合现有支撑系统，充分利用现有支撑体系内部数据和功能，为客户提供更好的服务，产生更大的价值。但这种系统容量需要达到上百T，处理的实时性要求更高，若采用传统的“scale up”的建设思路，不但成本高，而且无法根据用户和业务变化进行有效的调整和更新。 　　云计算技术的发展，提出了“scale out”的建设模式，根据互联网企业的经验和电信企业的特点，新的海量数据运营系统必须支持如下特性： 　　（1）分布式架构：只有采用这种架构，才能充分利用现有的低端PC，在合理的成本基础上，将其组合成为满足电信企业的体系； 　　（2）半结构化数据：电信领域的业务种类繁多、设备厂家多、升级频繁，固定结构的数据在灵活性方面很难适应； 　　（3）动态作业能力：只