广州电信创新平台云计算技术方案建议书_20110728_切勿传播.docVIP

技术方案建议书 目录 1 云计算系统设计方案概述 4 1.1 系统基本功能 4 1.2 主要设计思想和设计目标、设计原则 4 1.3 中国电信创新平台的云计算解决方案 5 1.4 系统的主要技术特点 5 2 系统总体构架 6 2.1 系统基本组成与构架 6 2.2 系统功能模块 7 3 系统基本功能与处理方案 8 3.1 CDR、PSMM、DT数据入库处理功能与方案 8 3.1.1 基于FTP加速引擎的数据高速稳定下载优化方案——更好的下载方式 8 3.1.2 数据入库模块 9 3.1.3 基于全局样本抽样的压缩优化方案——更好的压缩方式 10 3.2 索引生成与数据存储方案 11 3.2.1 数据立方(DataCube)——更好的索引生成方式 11 3.2.2 阶梯式数据存储系统——更好的存储方式 13 3.3 单用户数据查询功能与方案 14 3.3.1 cProc并行计算架构——实时性更强的计算架构 14 3.3.2 单用户单表多字段查询 15 3.4 数据查询统计功能与方案 17 3.4.1 MapReduce的架构 17 3.4.2 多表连接功能与方案 20 4 Avatar系统——更好的计算与存储集群可靠性 23 4.1 计算与存储集群Master单点失效容错处理 23 4.2 计算与存储集群的负载均衡处理 31 5 MapReduce计算架构可靠性设计 33 6 系统扩展性 35 6.1 已有的Hadoop集群规模 35 6.2 集群扩展方法 35 7 设备配置 36 7.1 建议硬件配置 36 7.2 软件配置 36 8 系统设计性能 37 8.1 数据入库能力 37 8.2 数据存储能力 37 8.3 查询分析计算性能 38 9 系统接口 38 9.1 四种功能接口 38 9.2 不同用户的使用范围 39 9.3 输入数据格式 39 图表 1 电信创新平台数据存储与处理总体技术架构 6 图表 2 数据下载解决方案 8 图表 3 样本抽样的压缩优化方案 10 图表 4 系统负载监控的压缩优化方案 11 图表 5 数据文件中的记录压缩 11 图表 6 数据立方(DataCube)与基于B+数的索引 12 图表 7 基于B+树的字段索引 13 图表 8 阶梯式数据存储系统 14 图表 9 cProc并行计算架构 15 图表 10 cProc计算架构下单表多字段查询过程 17 图表 11 分布式计算流程 19 图表 12 Hadoop的基本结构 20 图表 13 Join的流程图 23 图表 14 Master单点失效容错处理 24 图表 15 AvatarNode0以Pimary启动过程 26 图表 16 AvatarNode1以Standby启动过程 27 图表 17 DataNode启动过程 27 图表 18 AvatarNode0宕机后的状态 28 图表 19 AvatarNode1切换为Primary过程 28 图表 20 AvatarNode0重启过程 29 图表 21 AvatarNode启动切换流程图 30 图表 22 作业提交 34 图表 23 JobTracker0宕机 34 图表 24 作业注销 35 图表 25 全网设备汇总表 36 图表 26 软件配置列表 36 图表 27 分布式文件存储系统吞吐量 37 图表 28 CDR查询统计性能测试表 38 图表 29 查询接口图 38 云计算系统设计方案概述 系统基本功能 本方案的建设思路是，既要紧密结合实际网络情况，提供一套适合电信集团的数据处理系统，又能适应今后发展的创新的数据共享平台。 系统的基本功能和性能如下： 1)海量CDR、PSMM、DT存储和计算 能够存储PB级别的数据， 并完成各种复杂业务应用计算。 2)PB级数据秒级查询能力 高效索引算法，智能化调度任务系统，满足秒级查询速度。 3)海量数据统计功能 高效的全局数据统计算法提供较短时间内的数据查询统计能力。 主要设计思想和设计目标、设计原则 （1）设计思想：将海量数据分解到由大量X86架构计算机构成的低成本计算平台上进行实时处理，依靠分布式云计算软件进行容错，从而提升海量数据分析的实时性和性价比。 （2）设计目标：利用中国电信计算资源池中的X86架构计算机，建立云计算平台，提供CDR、PSMM、DT实时查询和统计分析等多种业务支持。创新平台系统具有可动态可伸缩性、高度容错性和响应实时性，达到较之传统方案有一个数据量级的性能价格比提升。 （3）设计原则： 前瞻性技术与实际应用环境相结合。 本项目是既是先进技术应用创新示范项目，又是工程实施型项目。把握技术正确性和先进性是前提，但是前瞻