数据质量智能监控布防实践之路.pdf

数据质量智能监控布防实践之路

董琼｜微众银行测试专家

01背景介绍

目02解决方案

C

O

N

T

E03实践和效果

N

录T

S

04总结与展望

01背景介绍

数据质量问题的产生和预防

◆金融产品的数据质量问题原因及影响

直接或间接的资损、客诉、合规风险、时效影响

◼需求理解◼个人客户

◼系统故障◼对公客户

◼功能缺陷原因数据质量问题影响◼合作方

◼人为操作◼监管及上级单位

◼安全漏洞◼行内其他部门

难点：场景复杂-范围广-链路长-隐蔽性-预警难

传统方案

变更管控问题发现快速恢复

需求/设计/代码/用例评审监控布防问题定位

变更测试/用例回归/灰度风险预警应急预案

数据质量监控布防的痛点

数据质量监控布防痛点：

成本高、覆盖时效

有效性低不足滞后

◼趋势类监控根据经验配阈值，若覆盖全面量大且调由于各业务团队的投入人力有限：◆管理简单，任务类加工数据的监控定

试耗时长，且经验值有效性不足，易误告◼关键表字段的监控覆盖与联机关键交易时启动，发现问题晚

◼逻辑规则人工编写，若覆盖全面量大且重复工作量差距大

多，且多字段之间特征规则易遗漏◼关键表字段监控维度单一

目标：工程智能算法智能数据质量智能监控

监控范围明确，规则监控通用和智能算法检测并可自动布防（不需要人为铺设），快速发现异常并

可做根因分析

02解决方案

数据质量智能监控功能地图

数据质量监控门智能监控资产管理智能监控效果评估

户访问

资产