电力大数据关键技术与应用研究V1.1-精简版.pptx

电力大数据关键技术及应用研究精简版南瑞埃森哲大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网投资策略研究平台功能 大规模数据上多维索引和即时查询 独特的并发控制机制 完善的多数据兼容和应用平滑迁移工具 独特的运行时优化 支持Oracle SQL的自动化映射核心技术创新点 开源Hadoop平台无法直接应用于智能电网的复杂业务需求，需要结合业务实际，进行大量实用化研发和优化完善工作。提高原有存储过程型应用向云平台的迁移效率，降低实现成本基于查询重写的SQL到Hadoop映射技术动态选择SQL在Hadoop环境下的最优并行方案I/O敏感代价模型驱动的并行方案优选技术根据集群资源状态，自适应调配存储粒度，进一步提升应用的并发水平集群资源感知的自适应分区技术突破Hadoop只支持K-V查询的技术局限，大幅提升了大数据查询效率基于混合多维索引的大数据查询技术实现大文件读取与随机改写效率的综合调优，有效提高了存储过程复杂分析语句的运行性能基于组合存储的并行读写优化技术提供Hadoop环境中的DML语言支持能力，提高存储过程中Update、Insert、Delete等语句的运行效率基于改进多版本机制的DML增强技术优化多任务并发状态下的计算和IO资源利用率，有效提升分析计算任务的综合执行效率基于装箱模型的并发计算任务工作流的智能规划技术为准实时的多数据源之间的数据一致性保障提供技术支撑基于交叉Hash校验的数据一致性保障技术根据数据更新规模，动态调整ETL任务并发度，实现资源的集约化利用负载敏感的数据ETL并发度按需调节技术性能验证 性能验证采用浙江公司用采业务真实数据，主要涉及29张数据表，共189.91亿条记录，选取了三个计算和四个查询任务场景，对比大数据平台和Oracle关系数据库处理性能情况。 三个计算任务涉及表和记录数： 1)公变数据完整率之今日电量计算（2.47亿） 2）低压数据完整率计算（116.1亿） 3)低压用户电量计算（143.7亿）上报公变数据主表333390公变用户计量点228991停电统计表上报公变电量数据153193115公变终端测量点250975终端资产统计公变数据完整率明细公变任务表112821系统单位代码1320数据完整率明细临时表9071统计终端用户表838885低压任务表低压测量点表统计低压数据完整率4134600916低压表记表低压用户表系统单位代码1320上报低压数据主表上报低压电量数据表7374570544停电统计表终端资产上报低压电量数据表7374570544上报低压数据主表低压测量点表低压用户表低压表记表终端资产统计低压日电量6906656585低压测量点表低压历史数据异常615803低压数据异常表854964性能验证 四个查询任务涉及表和记录数：1.57亿 条 1)采集覆盖情况明细 2）采集数据质量检查 3)批量抄表数据查询 4)台区线损分析明细用户明细表 224140单位级别关系1351终端资产P码2630用户数269803单位代码1320上报数据完整率明细P码2645用户数280357用户明细表225288终端资产上报任务数据主表910106单位级别关系1351用户280480低压数据终端资产上报任务数据主表910439台区线损统计P码2645单位级别关系1351G_TG634564低压用户电量计算大数据平台143.7亿Oracle 平台191min12min低压用户电量计算：191 min 12 min（实际运行23分钟）采集质量检查明细查询大数据平台Oracle 平台5.547s281ms采集质量检查明细查询：5.547s 0.281s计算任务验证对比大数据查询任务验证对比大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网投资策略研究背景短期电力负荷预测主要是指预报未来几小时、1天至几天的电力负荷，短期负荷预测不但为电力系统的安全、经济运行提供保障，也是市场环境下编排调度计划、供电计划、交易计划的基础。短期负荷预测精度已列为电网公司工作的一项重要考核指标。2009年，国家电网公司组织成