08_数据集成规范.docxVIP

数据集成规范 目录 TOC \o 1-3 \h \z \u 1 标准规范设计 3 1.1 数据接入标准规范 3 1.1.1 数据抽取标准规范 3 1.1.2 数据清洗标准规范 3 1.1.3 数据整合标准规范 4 1.2 数据管理标准规范 5 1.2.1 数据库管理规范 5 1.3 数据库数据同步规范 6 1.3.1 全文比对同步 6 1.3.2 触发器同步 7 1.3.3 时间戳同步 9 1.4 文件管理规范 10 1.4.1 文件命名规范 10 1.4.2 文件编码规范 12 1.4.3 空文件处理规范 12 1.4.4 文件记录格式规范 12 1.4.5 结构化文件类型 12 1.5 数据交换共享标准规范(方式、接口等) 13 1.5.1 服务接入规范 13 1.5.2 请求报文规范 17 1.5.3 响应报文规范 21 1.5.4 确认报文规范 24 1.5.5 异常报文规范 27 1.5.6 报文大小规范 30 1.5.7 数据共享编码规范 30 1.5.8 服务管控规范 36 标准规范设计 数据接入标准规范 数据库管理的科学数据类型各异，各有特色。为便于阐述，本规范将专业库归纳为以下两个类型： ? 关系型数据库：建立在关系模型基础上的数据库。 ? 非关系型数据库：不可关系化的数据，如文件型数据，文档等。 本规范列举之条款，无特别注明的，可同时适用于关系型数据库和非关系型数据库两种类型，专门针对关系型数据库（或非关系型数据库）的内容均在章节前加以注明，非关系型数据库（或关系型数据库）可不必遵守，读者在阅读过程中请加以区别。 数据库的数据形式应有正确合理的选择，一般而言应符合学科领域常用的主流数据格式，在满足这一原则的前提下，因关系型数据库的整合深入程度高于非关系型数据库，在能使用关系型数据库管理的场合应尽可能使用关系型数据库进行管理。 数据抽取标准规范 数据的抽取是从各个不同的专题子库中抽取数据到应用层数据库的过程，在抽取的过程中需要挑选不同的抽取方法，尽可能的提高数据处理的运行效率。数据的抽取需要在调研阶 段做大量工作，分析科研应用所需数据来自几个专题子库，各个专题子库采用的数据组织方式等问题，并根据组织层数据及科研应用数据需求的具体情况进行数据抽取的详细设计。 数据清洗标准规范 原始数据中有可能存在着大量的脏数据，需要利用有关技术如数理统计、数据挖掘或预定义的数据清洗规则将脏数据转化成满足数据质量要求的数据。不符合要求的数据主要是有不完整的数据、错误的数据和重复的数据三大类。 不完整的数据，其特征是一些应该有的信息缺失。需要将这一类数据过滤出来，列出其缺失的内容，要求在规定的时间内补全。补全后再写入数据库。 错误的数据，产生原因可能是在接收输入后没有进行判断直接写入后台数据库造成的，比如数值数据输成全角数字字符、字符串数据后面有一个回车、日期格式不正确、日期越界等。这一类错误需要用SQL 的方式挑出来，要求限期修正。 重复的数据，将重复数据记录的所有字段筛选出来，然后进行确认并清除。 经过清洗的数据满足以下要求： 单一字段中不存在多种信息； 相同对象的名称表达一致； 缩写词、惯用语的表达一致； 值与字段名含义匹配； 同类数据的计量单位统一； 同一字段内的数据格式统一。 数据整合标准规范 数据集成用于将来自不同数据源的数据整合成一致的数据存储。元数据、相关分析、数据冲突检测和语义异种性的解析都有助于数据集成。 主要方法包括： 模式匹配 利用数据库的元数据对异构数据进行映射转换，形成模式匹配。 消除冗余 利用相关行分析的方法检测冗余，消除重复数据。 数据管理标准规范 数据库管理规范 目前支持的数据库类型有Oracle、MS SQL 、MySQL、DB2、Sybase 等数据库。在数据同步之前需要准备数据库相关的用户名、密码以及数据库名和数据库地址等信息，并确保数据库连接畅通。 在进行数据同步前需要准备好需要同步的表的信息，如需要同步数据源的那张表中的那些数据等，并建立好目标表的表结构。 表命名规范 序号 命名对象 命名规则 举例 1 实体表 系统编号+_+表名 发卡系统客户资料表(CUSTR)：CUP_CUSTR 2 临时表 TMP_+系统编号+_+表名 客户资料表的临时表： TMP_CUP_CUSTR 索引命名规范 序号 命名对象 命名规则 举例 1 索引 idx_+表名+_+列名（或列名缩写） 客户资料表的客户证件号码CUST_NBR上的索引为：IDX_CUSTR_CUST_NBR 表空间命名规范 序号 命名对象 命名规则 举例 1 数