分布式数据质量管理系统在电力企业的实践和应用.pdfVIP

电信 科 学 2016 年第 4 期 电力信 息化 专栏 分布式数据质量管理系统在 电力企业的实践和应用 李 远 宁 ，刘 森 ，张诗 军 ，陈 丰 ，王志英 （ 中国南方 电 网有 限责任 公 司信 息部 ，广 东 广 州 510623 ） 摘 要 ：随着 企 业 信 息 化 水 平 和企 业 精 细化 管 理 要 求 的不 断 提 高 ，企 业 对 数 据 管 理 的需 求 也 随之 增 强 ，如 何 提 高 企 业 数 据 质 量 更 是 需 要 重 点 解 决 的 问题 。 针 对 电力 企 业 数 据 质 量 管 理 面 临 的挑 战 ，创 新 提 出 了分 布 式 数 据 质 量 管 理 解 决 方 案 。 针 对 集 中式 数 据 质 量 系统 的性 能 瓶 颈 ，在 研 究 数 据 质 量 系 统 特 点 并 借 鉴 国 内外 对 大 数 据 的解 决 方 案 后 ，提 出 了基 于 Hadoop 分 布 式 处 理 框 架 的解 决 方 案 。 利 用 Hadoop 集 群 ，可 以把 缺 陷数 据 从 Oracle 中抽 离 ，分 散 存 储 在 集 群 里 多 台服 务 器 上 ，以有 效 提 高 磁 盘 I／O 性 能 和数 据 分 析 性 能 。 关 键 词 ：数 据 质 量 管 理 ；分 布 式 ；Hadoop 中图分 类 号 ： 文献标 识码 ： TP391 A doi： 10.11959／j .issn.1000-080 1.20 16104 Practice and application of distributed data quality management system in power enterprise LI Yuanning， LIU Sen， ZHANG Shijun， CHEN Feng， WANG Zhiying Information Department of China Southern Power Grid Co.， Ltd.， Guangzhou 510623， China Abstract： As the improvement of the enterprise ’s informationalization level and the increasing management requirement of enterprise refinement， the demand of data management of enterprise is becoming greater and greater， how to improve the data quality of the enterprise is the key problem needed to be solved. Aiming at the challenges of data quality management that the power enterprise faces， some solutions for distributed data quality management were proposed. After researching the system features of data quality， some f