基于时间序列分析的电力负荷数据预处理方法.docxVIP

基于时间序列分析的电力负荷数据预处理方法 　　摘 要：智能电网中的电力负荷数据因来源于不同的信息采集系统，电力负荷数据维度和格式可能不一致，导致的电力负荷数据可信度差，可利用度低，难以实现电力负荷数据深度挖掘。针对缺失值、噪声值等异常的清洗问题，提出一种基于时间序列的能够统一化来源于不同系统电力负荷数据的预处理方法。该方法对接收到的数据信息按照统一格式的日期维度信息，归并到相同的数据格式，并对负荷数据中的异常点进行分类清洗。测试结果表明，该方法能够有效清洗噪声点、空值等异常数据，提高数据的可用性，便于对电力负荷数据进行更深一步的数据挖掘处理，提高了电力负荷数据的挖掘效益。　　关键词：时间序列分析；负荷预处理；智能电网；数据清洗；数据挖掘　　中图分类号：TM715 文献标志码：A 文章编号：2095--0094-02　　Abstract： Because the power load data in smart grid come from different information collection systems， the dimension and format of power load data may be inconsistent， resulting in poor reliability and low availability of power load data. It is difficult to realize the in-depth mining of power load data. In view of the problem of cleaning anomalies such as missing value and noise value， a time series based preprocessing method is proposed， which can unify the power load data from different systems. The received data information is merged to the same data format according to the date dimension information of the unified format， and the outlier points in the load data are sorted and cleaned. The test results show that the method can effectively clean the abnormal data such as noise points and null values， improve the availability of data， and facilitate the further data mining processing of power load data， so that the mining efficiency of power load data is improved.　　Keywords： time series analysis； load pretreatment； smart grid； data cleaning； data mining　　1 概述　　?S着大数据技术的日渐成熟，将大数据技术应用到各行各业中成为科研和企业共同的关注目标。如何从海量负荷数据中挖掘出有用信息对电力的管理调度具有重要意义[1]。而电力负荷数据库中可能包含着异常数据，阻碍了电力大数据技术的发展，因此有必要对电力负荷数据进行预处理。　　国内外许多专家学者对电力大数据的数据预处理进行了研究，针对大数据技术高质量数据的要求，文献[2]采用了将数据产品与传统的有形的产品、软件产品相类比的角度，将数据清洗类比为了其他形式产品的异常诊断和处理；文献[3]针对数据仓储对不同来源的业务数据源的数据存在的重复记录和异常问题，进行整理和规范，消除歧义，提高了数据质量；文献[4]为减少数据存储成本，通过分析配电网负荷数据的异常类型及产生原因，提出了一种面向大规模配电网负荷数据在线清洗和修复的方法；文献[5]通过使用数据清洗中较大程度地上运行在统一输入文件或者利用相同的运算方法的研究发现，提出了一种任务合并的优化技术，实现了在大数据平台上的并行大数据清洗。文献[6]针对这些方法存在数据丢失，破坏数据完整性的问题，提出了一种利用时间序列的输变电设备状态的大数据清洗方法。　　本文根据电力系统中负荷数据的特征，为便于对电力负荷波动信息的挖掘，提出一种基于时间序列分析的电力负荷数据