数据质量和数据清理在电信数据仓库中的应用.docVIP

数据质量和数据清理在电信数据仓库中的应用 Data Quality, Data Cleaning and Applying to Telecom Data Warehouse 关键词：数据仓库；数据质量；数据清理；ETL；构件 Keywords: Data Warehouse; Data Quality; Data Cleaning; ETL; Component 摘要：在研究数据质量问题相关理论的基础上，面对电信企业高质量数据需求，设计了面向电信应用的数据质量控制体系，接着，详细介绍了包含概念定义层、逻辑规范层和物理实现层三层的数据清理框架，最后描述了采用基于构件的设计模式，实现的以数据清理为主要功能的数据加载（ETL）系统。目前该系统已经应用于某电信运营企业数据仓库项目中，效果显著。 Abstract: Based on the research of the theories related to data quality problems, and for the requirements of high level data quality to telecom enterprises, a data quality control architecture oriented telecom applications is designed. A data cleaning framework with three tiers, such as notion defined tier, logic normalized tier and physical implemented tier, is discussed. An ETL system for the purpose of data cleaning is implemented by using design pattern based on component. The system is in used by a telecom enterprise, and worked well now. 1 引言 当今企业已建设或正在建设数据仓库系统以辅助决策，提高其核心竞争力，这需要将长期积累的大量反映各种业务环境的数据，按照相应主题从同构或异构平台，通过一定的ETL方法和过程将它们进行抽取、过滤、清洗、转换，然后加载到中央数据仓库中进行整合，形成完整的企业业务视图。(Extraction, Transformation, Loading)即数据抽取、转换和加载，是数据仓库实现过程中，将数据由数据源系统向数据仓库加载的主要过程。 现实世界中的数据源极易受空缺、不一致和噪声数据的侵扰。根据GIGO（garbage in garbage out）(data cleaning，data cleansing或者data scrubbing)在文献[2]中被定义为：发现和清除数据中的错误和不一致来提高数据的质量。在数据仓库环境下,数据清理是ETL 过程的一个重要部分,要考虑数据仓库的集成性与面向主题的需要。 数据清理目的是检测数据中存在的错误和不一致，剔除或者改正它们，这样就提高了数据的质量[2]。业务系统数据清理是提升业务系统数据质量的有效手段，是数据质量的源头，是整个数据仓库项目成功的关键。数据清理工作一方面能有效提升业务系统的数据质量和系统可用性，另一方面也能有效降低整个数据仓库ETL的复杂度和工作量，保证数据仓库中的数据质量。[3] 中数据质量定义为：数据的一致性(consistency)、正确性(correctness)、完整性(completeness)和最小性(minimality)在信息系统中得到满足的程度。文献[4]认为：存在数据质量指示器和数据质量参数两类数据质量衡量指标，用户应根据应用的需求选择其中一部分，在此基础上提出了数据工程中数据质量的需求分析和模型。依据文献，结合电信运营企业的特点，对于数据质量，可以从以下四个方面来定义： 完整性（Completeness），数据是否按规则填写完整； 正确性（Correctness），数据是否满足域定义和业务逻辑要求； 一致性（Consistency），不同系统之间关联的数据在定义、含义、取值及操作等方面是否一致； 当前性（Currency），数据是否能够反应当前状态。 以上四个方面，我们称之为4C。高质量的数据应该是完整的、正确的、一致的、当前的。 2．2 数据质量问题的分类 文献[2] 根据处理的是单数据源还是多数据源以及问题出在模式层还是实例层,将数据质量问题分为4类：单数据源模式层问题、单数据源实例层问题、多数据源模式层问题和多数据源实例层问题。文献[5]根据用户角色的不同将数据仓库质量分为四类：设