数据接入规范.docVIP

DB5110/T1—2023

DB5110/T1—2023

PAGEII

PAGEIII

DB5110

四川省（内江市）地方标准

DB5110/T1—2023

数据接入规范

DataAccessSpecification

目??次

TOC\h\z\t前言、引言标题,1,参考文献、索引标题,1,章标题,1,参考文献,1,附录标识,1,一级条标题,3,二级条标题,4,三级条标题,5前??言 IV

1范围 1

2规范性引用文件 1

3术语和定义 1

4缩略语 3

5数据采集原则 3

5.1统一性 3

5.2真实性 3

5.3完整性 3

5.4及时性 3

5.5选择性 3

5.6必威体育官网网址性 3

6数据分类分级 3

6.1按数据类型分类 4

6.2按重点领域分类 4

6.3按数据来源分类 4

6.4按部门分类 5

6.5按敏感程度分级 5

7数据采集 6

7.1管理职责 6

7.2数据采集框架 6

7.3数据采集方式 7

7.4非实时数据接入 7

7.4.1库表交换 7

7.4.2文件交换 7

7.4.3接口交换 8

7.5实时数据接入 8

7.5.1接入说明 8

7.5.2触发方式 8

7.5.3实时数据接入上报请求参数 9

7.5.4实时数据接入上报请求示例 9

7.5.5实时数据接入响应请求参数 9

7.5.6实时数据接入响应请求示例 10

7.6数据接入规范 10

7.6.1前置机要求 10

7.6.2前置机命名要求 10

7.6.3前置库建表要求 10

7.6.4前置库表命名要求 11

7.6.5信息项名称命名要求 11

7.6.6FTP服务器要求 11

7.7数据采集流程要求 11

7.7.1各数源单位准备数据 11

7.7.2数据采集部门进行采集需求分析 12

7.7.3数据采集部门进行采集需求定义 12

7.7.4数据采集部门按采集需求进行数据抽取 12

7.7.5数据采集部门按采集需求进行数据写入 12

7.8数据校验审核要求 12

7.9采集安全要求 12

8数据汇聚 12

附录A（资料性附录）相关示例 13

附录B（资料性附录）数源单位名称规范表 14

参?考?文?献 16

前??言

标准号：DB5110/T1-2023。

标准名称：数据接入规范。

本标准部分按照GB/T1.1—2020标准化工作导则第1部分：标准化文件的结构和起草规则的规定起草。

请注意：本标准的某些内容可能涉及专利，本标准的发布机构不承担识别这些专利的责任。

标准归口单位：由内江市大数据中心提出并归口。

标准起草单位：内江市大数据中心、四川云领智城信息科技有限公司、杭州数梦工场科技有限公司。

标准主要起草人：

DB5110/T1—2023

DB5110/T1—2023

PAGE16

PAGE15

数据接入规范

范围

本文件规定了数据中台的数据接入技术体系、功能要求以及相关系统的边界，数据接入包括了数据读取和数据对账两部分内容。

本文件适用于指导内江数据中台接入系统建设及相关平台系统的对接。

规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其必威体育精装版版本（包括所有的修改单）适用于本文件。

GB/T36625.3-2021智慧城市数据融合第3部分：数据采集规范

DB52/T1541.2-2020政务数据平台第2部分：数据归集规范

术语和定义

下列术语和定义适用于本文件。

数据data

信息的可再解释的形式化表示，以适用于通信、解释或处理。

可以通过人工或自动手段处理数据。

[GB/T5271.1-2000，定义01.01.02]

数据采集dataacquisition

从数据源中得到原始数据，通过标准化处理并转化为满足未来数据共享与利用需求的过程。

[GB/T36625.3-征求意见稿，定义3.1]

全量采集模式

是指一次性将关系数据库中物理表的数据抽取到大数据平台。

增量采集模式

是指根据设置的抽取条件筛选符合条件的数据抽取到大数据平台。

数据分类datacategorization

把具有某种共同属性或特征的数据归并在一起，按照一定的