bi测试数据质量质量检核分类.docxVIP

序号 来源分类 数据质量问题 检查内容 实现方式 实现范围 前置依赖 源数据采集、加载 源数据加载时间检 延迟，导致 PDM 数 通用规则 整理基础数据： 1 源数据类 查，并每天发送检 据加工数据延迟， 、脚本 PDM全部 查结果； 供数文件超出窗口 源数据采集、加载 2 源数据类 为空，导致 PDM 加 检查来源表批次数 通 用 规 则 整理元数据等：实 工数据为空，或者 据记录数 、脚本 现重点系统 结果集错误； 数据源字段类型变 更，未通报PDM项 对应的字段类型检 整理元数据等：实 3 源数据变更类 目组，包括当前定 通用规则 4 查 现重点系统 义不一致的数据类 型，引起 ETL报 数据源字段类型变 4 源数据变更类 更，未通报 PDM 项 对应的字段长度检 通用规则 整理元数据等：实 目组，数据长度不 查 现重点系统 一致导致出错； 系统内、系统间业 业务规则导致加工 定制脚本 5 ETL加工类 数据错误或者不一 务指标加工核对、 重点系统示例 示例 致； 检查 6 ETL加工类 PDM 内部 ETL 数据 唯一性检查 通用规则 整理元数据等：实 加工数据重复； 现重点系统 7 调度配置类 PDM 内部调度依赖 调度依赖与源表清 通用规则 整理元数据情况 4 配错； 单对比检查 卸出的数据文件记 8 供数文件类 PDM 卸出的数据文 录数、文件与接口 通用规则 整理基础数据： 1 件不应为空； 表、一对一的源表 PDM全部 对应检查、为空检 分布键不合理，表 检查数据表倾斜情 整理基础数据： 况，列出一定阀值 通用规则 9 数据倾斜； PDM全部 其他类 的表清单 字段类型判定功能 检查字符是否满足 通用规则 根据需求 函数 日期等 优先级 开发批次 状态 备注 2 第1批次 完成 5 第3批次 未启动 根据重要系统需求，评估启 动的必要性 6 第2批次 开发中 计划下周投产（配置为反洗 钱系统） 7 第2批次 开发中 计划下周投产（配置为反洗 钱系统） 9 第3批次 未启动 新增： 暂停：大多 ETL程序中包含 3 第2批次 暂停 了去重处理，且与数据分布 检查存在重叠功能，故暂缓 8 第3批次 未启动 计划新增：因主要依赖人工 根据源表清单比对。 4 第1批次 完成 1 第1批次 完成 1 第1批次 暂停 完成“字符是否日期”判断 功能函数