基于云计算的并行数据挖掘工具优化与应用推广.pptVIP

Page * * * * Page * Page * * 应用试验 与省公司结合，针对典型 应用进行测试及对比评估 关键技术评估 从工具操作层面，对关键技术进行测试及对比评估 正确性：工具正确性达到行业标准 -使用公测数据和现网数据多方面评测功能的正确性 性能：对百TB级数据量的支持 -评测百TB级数据的响应时间 -评测操作的响应时延，并与小型机系统对比，采用与现网同规模、十倍规模、百倍规模数据进行测试 扩展性：加速比接近线性 -取现网规模千倍的数据进行扩展性测试，节点规模包括16、32、64、128节点 上海公司项目：客户知识库建立 -与上海公司现网系统进行相同模型实验，对比结果的正确性、性能等 -验证、探索并行数据挖掘技术解决大数据量数据挖掘问题 江苏公司项目：基于云计算的信令数据分析及挖掘 -BC-PDM实现信令数据的分析及挖掘 -验证、探索并行数据挖掘工具实现海量数据挖掘的可行性 系统评估内容和方法 实验环境 系统软件 硬件环境 平台规模 256节点 256TB存储 节点配置： Datanode：1路4核XEON 2.5G/8G内存/4*250G Namenode/JobTracker:2路双核AMD Opteron 1G/16G内存/4*146G 网络：1000M交换机 操作系统：RHEL5.2 程序语言： Jdk1.5/Linux Shell 工具软件：Eclipse3.3 + IBM MapReduce Tools for Eclipse 数据挖掘软件及实验数据 BC-PDM 数据 公测数据（MB级别） 现网数据（百TB级别） 系统评估结果-ETL的正确性和性能 结论 并行ETL与串行ETL结果正确性完全一致；性能提高20-80倍，TB级操作性能在20分钟级 并行算法正确性满足商业标准；优化算法性能提高50%；与Unix相比，算法性能优势明显 ETL性能优化 与一期项目相比，ETL性能提高1至2倍；与unix相比，性能提高20-80倍 BCPDM全网数据vs小型机1/10全网数据 ETL性能（TB级别） 在128节点规模下，绝大多数ETL操作可在20分钟内完成 Chain性能优化 优化后ETL工作流性能提高为2-5倍，取决于工作流使用的ETL操作及操作顺序 App（6个组件） App2（7个组件） App3（4个组件） App4（6个组件） chain优化前 655s 171 92 158 chain优化后 153s 82 41 54 系统评估结果-算法的正确性和性能 新增和改进 Bench mark Data Real Data size performance 逻辑回归 96.45% 81.21%13GB)qudao 1023s（32nodes）20 iterations) 神经网络 76.2% 85.31%13GB)qudao 374s(32nodes)(4 iterations) 序列关联 100% 100% 300M(新数据) 1203s(32nodes) PCA 100% 100% Dm_call 12G 1472s(32nodes) C45改进 95.40% 76.02% Wap数据 260s（一期390s） 新增算法正确性：满足商业标准 新增算法与现网SPSS工具对比 逻辑回归：等量数据挖掘性能提高4-5倍，十倍数据性能相当； 神经网络：SPSS挖掘全网数据一天无响应，BCPDM分别在5分钟级别及小时级别完成全网及十倍数据的挖掘 24小时未出结果 系统评估结果-扩展性 结论（TB规模在128节点内） 并行ETL具有优秀的扩展能力 并行数据挖掘算法具有良好的扩展能力 加速比 ETL扩展性 并行ETL的12种操作，取得了较好的扩展性效果，其加速比随节点数量增长接近线性 算法扩展性 并行数据挖掘算法取得了良好的扩展性，但是由于算法复杂度影响，在节点增多时难以达到线性 应用试验-试验方案及结果 中间数据 宽表 挖掘模型 详单数据 基础数据 结果评估 35% 30% 35% 阶段一：据详单表结构，模拟数据， 进行数据装载、清晰、预处理，对比 工具为数据仓库加载工具及DB2 江苏公司信令信息挖掘探索 100% 收集GNGPRS的CDR信息，通过数据ETL过程进行数 据之间的关联分析，目前以统计分析、相关性分析为主，对比工具 为SPSS的Clemetine 阶段二：根据基础数据表，进行 各种数据仓库支持的SQL操作，对 比工具为数据仓库DB2 阶段三：根据宽表进行各种应用 主题的挖掘，包括部分预处理及算法 对比工具为SPSS的Clemetine 上海公司数据挖掘主题应用 用户渠道偏好模型 业务目标：