公共数据质量管控系统建设方案.docVIP

公共数据质量管控系统建设方案 目 录 TOC \o 1-3 \u 一．项目建设背景 3 二．项目建设目标 3 三．业务功能需求 3 一．项目建设背景 2022年是实现数字化改革“一年出成果、两年大变样、五年新飞跃”战略目标的关键之年，也是推进全面贯通、集成突破、集中展示之年。为确保公共数据能持续高效支撑数字化改革，大数据发展管理局已初步确定将提升数据高质量供给能力作为2022年度一体化智能化公共数据平台中心工作之一。提升数据质量管控能力作为提升数据高质量供给能力的核心手段，利用数字化手段加强数据质量管控，对2022年度区一体化智能化公共数据平台数据资源体系的完善具有不可或缺的作用，也能有效提升区一体化智能化公共数据平台对区数字化改革的基础支撑能力。 二．项目建设目标 结合区政务信息资源现状，围绕数据目录规范、数据治理和数据服务方面进行延伸，建立标准化数据问题反馈机制，进一步提升区数据治理能力，逐步实现“用数据说话、用数据决策、用数据管理、用数据创新”，推动区各部门政务数据无障碍互通。 三．业务功能需求 模块 功能 功能描述 智能化数据目录治理 目录质量感知模型建设 构建数据目录治理指标体系，建设数据目录治理分析模型，并基于区实际情况进行模型训练和优化提升 目录动态化治理 建设目录动态化治理模块，将智能模型运算结果与实际目录治理工作进行充分融合，为数据管理人员提供动态化目录治理操作界面。数据管理人员可根据实际需求根据数源单位、所属系统、目录名称对所需治理的数据目录进行查找，并基于模型自动推荐结果选择单条或批量目录，由智能化目录治理工具进行自动治理或推送至各部门进行整改。 目录动态化治理明细 建设目录动态化治理明细模块，动态化展现区数据目录治理情况，展示内容包含目录基础信息和数据项信息的正确与否，并对错误的数据项推荐整改值。提供目录治理结果下载功能，将治理结果通过问题反馈工单的形式发送至数源部门处，协助数源部门整改数据目录。 数据治理平台智能化升级改造 清洗结果可视化升级 主要包含源表清洗明细、部门数据总览两个模块，以全局角度按日期、按部门、按质量对各个节点不同维度的数据清洗情况进行可视化分析，实现对数据清洗情况的统一监控与查看。 治理规则智能推荐 基于历史治理规则配置库，对每个字段按照规则匹配度匹配相应的数据规则。数据管理人员审核生效并进行辅助性配置后，数据将自动进行清洗。 规则中心 规则中心包含通用规则、个性化规则两个模块，支持以某一特征标准或业务场景对数据清洗规则集合进行统一创建、管理及清洗表关联，遇到同一清洗标准的表，可直接应用，无须重新配置。系统管理人员可对系统内数据规则进行查看并根据对业务数据表的分析不断形成新的规则添加至规则中心。 数据质量智能评估 根据数据的完整性、准确性、唯一性、关联性、一致性、规范性，结合基于层次的分析方法，打造数据质量定量评估模型，对各部门数据质量进行评分、排名。系统将以列表的形式，从高至低的展现每个部门的数据质量评分，对所有部门的评分进行统计分析，形成一张存在部门分值线、平均分值线、最高分部门、最低分部门为一体的网状图，直观展示数据质量。 元码管理 元码管理通过梳理可关联多个表的数据项，完成字段、表、部门三者间关联关系的建设。同时提供元码的增加、删除、查找、修改等功能并支持新增库表不同字段和元码建立绑定关系。 智能监控 通过与浙政钉机器人API接口的对接，实现数据治理任务执行情况的智能预警。当清洗任务出现异常后，数据质量平台将自动通过浙政钉发送预警信息，便于管理人员对异常任务进行及时处理 任务看板 任务看板以日、周为时间维度展示任务总量、完成任务总量、失败任务量、正在执行任务量等统计信息，并展示任务实时情况。支持清洗任务详情查看 数据治理展示中心 数据治理展示中心针对清洗、问题数据、整改情况等工作成果进行可视化展示，展示指标包含清洗总量、归集数据总量、重复数据总量、优质数据量、问题数据总量等 数据治理平台架构升级 清洗时效性升级 对数据治理平台清洗时效性进行升级，要求适配ODPS（大数据处理分析平台），修改取数逻辑，将单表运行修改为多表并行等方式，时效性可由最初的以天为周期提升至以小时为周期，同时新增blink计算+datahub实时存储的流式清洗架构，采用多种方式实现数据治理秒级清洗。 离线任务配置及部署 要求通过清洗规则配置、部署清洗程序、清洗任务提交等形式对数据治理平台进行离线任务配置及部署，支持清洗结果和问题详情获取，支持多维度的数据统计。 流式任务配置及部署 通过获取datahub的topic元数据信息，对表进行清洗规则配置，在阿里云进行blink任务部署，并引用udf清洗函数，将datahub流式数据清洗并实时写入datahub结果表，一方面给下游实时提供数据，一方面