电力大数据环境下大数据中心架构体系设计.docVIP

精品论文 参考文献 电力大数据环境下大数据中心架构体系设计 国网新疆电力公司信息通信公司 830002 摘要：随着我国经济水平的发展，物联网、云计算、电子商务等技术在电力行业得到了广泛的应用。电力大数据需要按需获得计算资源，快速进行应用部署，以适应大数据数量大、类型多、变化快等特性。云计算将资源虚拟化、池化，可以为大数据提供资源支撑和保障。本文先介绍了大数据中心整体架构，接着简述了大数据中心应用实例，以供参考。 关键词：大数据；数据接入；数据挖掘；内存计算 一、大数据中心整体架构 大数据是对具备数据体量大、数据类型多、处理速度快、价值密度低的数据集合进行分析、处理、管理的科学体系，涉及方法论、基础理论、关键技术等多个层面，保证数据的效能得到最大化体现，并实现对公司业务的辅助决策和趋势预测。电力大数据是在大数据时代背景下，以公司业务的提升和增值服务为目标，利用数据存储、实时计算、离线计算、计算分析与挖掘、数据管理与服务和数据展示等方面的核心关键技术，构建实时处理、交互式分析、辅助决策、趋势预测、价值挖掘的大数据体系，电力大数据的应用将推动公司业务发展和管理水平提升。公司大数据中心在建设时应选用适用的Hadoop 版本作为核心，通过有机集成方式融合内存计算、流计算、分析挖掘、可视化等第三方开源软件，在较高的起点上建设大数据平台。大数据平台以数据整合及分布式存储为基础支撑，包括数据采集、存储、数据处理、数据应用4 个主要功能层面和安全、运维辅助功能。平台的部署视图如图1 所示。 大数据中心以Hadoop 技术体系中分布式存储（分布式文件系统（Hadoop Distributed File System，HDFS）、HBase、Hive）、分布式计算框架（MR）为基础，使用Spark、R 等开源产品或技术与之形成互补，新增安全管理机制和配置管理功能，提升改造现有可重用的SG-ERP 组件，从而完成整个技术架构的组建。参考业界大数据平台的实践经验，公司大数据中心的部署可分为2 个阶段开展。 （1）两级部署：现有的数据中心以两级部署模式建设，大部分业务在网省层次部署，少量业务在市县部署。因此，为了更好地以现有数据中心为数据源，充分利用前期的建设成果，大数据中心第一阶段采用分布式两级部署模式，总部作为核心数据汇集点，网省公司作为区域数据汇集点进行建设，两级部署具体方案如图2 所示。 （2）一级部署：随着数据中心与大数据平台的逐渐融合，平台应向一级部署模式[3]演化（见图3）。一级部署、全网数据集中存储更加有助于公司大数据价值挖掘和业务创新。 大数据中心物理上由多个集群组成：数据接入集群、服务接口集群和数据存储计算集群。数据接入集群部署包括分布式消息队列、流计算节点以及其他数据交换节点等服务，服务接口集群包括R 语言服务、开放数据库互连（Open Database Connectivity，ODBC）/Java 数据库连接（Java Database Connectivity，JDBC）服务、Web HTTP/ 表述性状态转移（Representational State Transfer，REST）服务、文件传输协议（File Transfer Protocol，FTP）服务、网络文件系统（Network File System，NFS）服务等，数据存储计算集群包括数据存储、计算、分析集群，物理部署集群如图4 所示。 二、大数据中心应用实例 国网山东省电力公司依托大数据引擎的数据分析与模型预测能力，基于用户用电信息、电网负荷信息实时采集同步，结合国民经济增长速度、产业结构调整、消费水平、工业与居民电气化程度、电价政策、气候/ 气温变化等外部因素，实现用电负荷大数据分析模型的构建，通过对各周期用电负荷曲线、负荷时间和空间分布等的预测，为电网规划、电能调配等提供决策支持。 依托大数据引擎的数据分析预测能力和历史数据，可以实现未来1 h 以内、1 日内、1 周、1 月内、1 年乃至3~5 年的负荷预测，从而为电网预防控制、紧急状态处理、机组启停、水火电协调、设备检修/ 大修等提供依据。