电力大数据关键技术与应用研究V11精简版.pptxVIP

电力大数据关键技术与应用研究V11精简版.pptx

  1. 1、本文档共96页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
电力大数据关键技术与应用研究V11精简版第1页/共96页第2页/共96页大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电压分析基于大数据的重过载分析基于大数据的变电设备故障预测基于大数据的二次设备风险评估基于大数据的红外图像分析及故障识别基于大数据的输电线路在线监测基于大数据的客户管理全面监测基于大数据的智能用电应用基于大数据的客户全面感知分析基于电网可靠性的配网投资策略研究第3页/共96页平台功能 大规模数据上多维索引和即时查询 独特的并发控制机制 完善的多数据兼容和应用平滑迁移工具 独特的运行时优化 支持Oracle SQL的自动化映射第4页/共96页核心技术创新点 开源Hadoop平台无法直接应用于智能电网的复杂业务需求,需要结合业务实际,进行大量实用化研发和优化完善工作。提高原有存储过程型应用向云平台的迁移效率,降低实现成本基于查询重写的SQL到Hadoop映射技术动态选择SQL在Hadoop环境下的最优并行方案I/O敏感代价模型驱动的并行方案优选技术根据集群资源状态,自适应调配存储粒度,进一步提升应用的并发水平集群资源感知的自适应分区技术突破Hadoop只支持K-V查询的技术局限,大幅提升了大数据查询效率基于混合多维索引的大数据查询技术实现大文件读取与随机改写效率的综合调优,有效提高了存储过程复杂分析语句的运行性能基于组合存储的并行读写优化技术提供Hadoop环境中的DML语言支持能力,提高存储过程中Update、Insert、Delete等语句的运行效率基于改进多版本机制的DML增强技术优化多任务并发状态下的计算和IO资源利用率,有效提升分析计算任务的综合执行效率基于装箱模型的并发计算任务工作流的智能规划技术为准实时的多数据源之间的数据一致性保障提供技术支撑基于交叉Hash校验的数据一致性保障技术根据数据更新规模,动态调整ETL任务并发度,实现资源的集约化利用负载敏感的数据ETL并发度按需调节技术第5页/共96页性能验证 性能验证采用浙江公司用采业务真实数据,主要涉及29张数据表,共189.91亿条记录,选取了三个计算和四个查询任务场景,对比大数据平台和Oracle关系数据库处理性能情况。 三个计算任务涉及表和记录数: 1)公变数据完整率之今日电量计算(2.47亿) 2)低压数据完整率计算(116.1亿) 3)低压用户电量计算(143.7亿)上报公变数据主表333390公变用户计量点228991停电统计报公变电量数据153193115公变终端测量点250975终端资产2600453统计公变数据完整率明变任务表112821系统单位代码1320数据完整率明细临时表9071统计终端用户表838885低压任务表1903834低压测量点计低压数据完整率4134600916低压表记压用户统单位代码1320上报低压数据主报低压电量数据表7374570544停电统计端资产2600453上报低压电量数据表7374570544上报低压数据主压测量点压用户压表记端资产2600453统计低压日电量6906656585低压测量点压历史数据异常615803低压数据异常表854964第6页/共96页性能验证 四个查询任务涉及表和记录数:1.57亿 条 1)采集覆盖情况明细 2)采集数据质量检查 3)批量抄表数据查询 4)台区线损分析明细用户明细表 224140单位级别关系1351终端资产2315773P码2630用户数269803单位代码1320上报数据完整率明码2645用户数280357用户明细表225288终端资产2547680上报任务数据主表910106单位级别关系1351用户280480低压数端资产2550507上报任务数据主表910439台区线损统码2645单位级别关系1351G_TG634564第7页/共96页低压用户电量计算大数据平台143.7亿Oracle 平台191min12min低压用户电量计算:191 min 12 min(实际运行23分钟)第8页/共96页采集质量检查明细查询大数据平台Oracle 平台5.547s281ms采集质量检查明细查询:5.547s 0.281s第9页/共96页计算任务验证对比大数据第10页/共96页查询任务验证对比第11页/共96页大数据关键技术研究基于大数据的短期符合预测基于大数据的供电可靠性分析基于大数据的低电

文档评论(0)

kuailelaifenxian + 关注
官方认证
文档贡献者

该用户很懒,什么也没介绍

认证主体太仓市沙溪镇牛文库商务信息咨询服务部
IP属地上海
统一社会信用代码/组织机构代码
92320585MA1WRHUU8N

1亿VIP精品文档

相关文档