调度信息系统的数据清洗应用.pdfVIP

解决方案 调度信息系统的 数据清洗应用 朱六璋(安徽省电力公司调度通信中心，安徽合肥230061) 摘 要：电力调度中众多的系统数据是重要的信息源，数据质量的好坏 不仅直接影响电力调度正常业务的开展，而且还影响电网运行调度的分 析与决策。作为数据质量控制手段的数据清洗方法在电力调度的应用研 究中具有较大的潜力。基于数据清洗在电力调度应用的研究内容，提出 了电力调度数据清洗应用体系结构以及规则模型库的工作机理，从自动 采集系统数据源和调度生产管理系统数据源2种不同类型的电力调度数 据源出发，结合相应的实例分析和研究了调度信息系统数据清洗实现方 法与过程。 关键词：数据清洗；数据质量；电力调度；规则模型 0引言 方法工具来自动或辅助完成清洗过 数据清洗应用体系结构，以及电力 电力调度SCADA／EMS系统、 程是非常必要的，也是将数据质量 调度数据清洗应用的实现过程，表 电量计量系统以及调度生产管理系 控制在合理水平唯一的实用和有效 明数据清洗方法在电力调度数据质 统(DMIS)等积累了大量的数据，是 的途径。 量控制中的作用，证明电力调度数 电力调度的信息源，数据质量的好 电力调度数据清洗是现阶段电 据清洗的应用研究前景是广阔的。 坏直接影响电力调度正常业务的开 力调度向分析、智能型转变过程中 1数据清洗技术概述 展和对电网运行调度的分析与决 必须研究的一个课题。在调度实际 策，因此，采用先进科学的数据质 中，数据清洗的研究通常涉及以下 数据清洗是一个随计算机技术 量控制显然非常重要。 问题的解决：调度日志、设备参数 发展，尤其是伴随数据仓库而出现 数据录入和采集具有内在的出 和操作票管理等DMIS业务中的数据的较新的研究领域。数据清洗所要 错倾向，在大量数据集中时数据错 CAD 解决的问题在可接受时间内处理缺 录入错误、记录重复；S A／ 误、数据缺失极其普遍。对这些数 EMS和电量计量系统中的数据流缺 失数据、错误数据和记录数据可用 据集进行数据清洗处理是解决问题 失数据和奇异数据；多数据源的数 性等，且进一步通过分解与重组数 的有效方法。数据清洗是一个消除 据有效性校验选择。如电量与负荷 据，解决“合并／清除问题”。随 数据中的错误与不～致、解决对象 积分、多数据源关口合并取数等； 着数据清洗技术的发展，专门的数 识别问题的过程。传统的手工方法 面向分析决策的数据转换。如负荷 据清洗软件工具已经开始利用专业 只适合少量数据，且处理不够及 预测的基准负荷曲线数据、关联数 的算法分析、标准化、纠正、匹配 时，费时费力，同时对专业水平要 据统计配对等。 和合并业务系统的数据，功能包括从 求高，本身还会出错。因此，设计 通过描述数据清洗技术及其主 简单的清洗和单