大数据平台深化设计方案.docx

PAGE

上海市奉贤区政务数据共享交换平台项目Z320601180349(CS063)详细设计说明书

大数据平台

深化设计方案

大数据平台深化设计方案

目录

TOC\o1-5\h\u1实现架构及功能逻辑 1

1.1设计思路 1

1.2系统架构 3

1.2.1系统体系结构 3

功能架构 3

技术架构 5

物理组架构 9

1.2.2系统设计原则 10

适用性原则 10

标准化、规范化原则 10

先进性原则 10

实用性原则 10

开放性原则 11

安全性原则 11

可扩展原则 11

1.2.3功能模块描述 12

重构社会治理大数据存储结构 12

提供通用全文检索与分析应用工具 12

面向社会治理应用的大数据服务能力 13

2大数据中心应用模块详细设计 13

2.1首页设计 13

2.1.1概要说明 13

2.1.2界面设计 13

2.1.3主要功能详细设计 14

2.2数据仓库设计 26

2.2.1ODS数据库 28

数据库命名 28

表命名规则 28

分区规则 29

.1同步类型 29

.2分区类型 29

审计字段 30

索引规则 30

2.2.2DWS数据库 30

表命名规则 31

索引规则 31

分区规则 31

.1创建分区表： 32

.2创建多级分区 32

审计字段 33

2.2.3DM数据库 33

数据库命名 33

表命名 34

专题库 34

.1列数据设计原则 34

.2Hbase创建表 35

.3HbaseRowKEY设计 35

.4Hbase数据分散设计 37

2.3标准管理 40

2.3.1数据字典管理 40

功能描述 40

实现框架 41

.1设计思路 41

接口设计 44

.1新建数据字典接口 44

.2唯一性校验接口 47

.3修改数据字典 48

.4数据字典列表 50

.5数据字典删除 51

.6批量导入数据字典 52

.7导出数据字典 54

.8查询数据字典详情 55

.9根据版本查询字典项 56

.10标准文件下载 58

2.3.2数据元管理 59

功能描述 59

实现框架 60

.1设计思路 60

接口设计 62

.1数据元列表展示查询接口 62

.2数据元新增接口 62

.3数据元查询详情接口 63

.4数据元修改接口 65

.5数据元删除和批量删除接口 66

.6数据元批量导入模板下载 67

.7数据元批量导入 67

.8数据元批量导出 68

.9数据元名称和编码是否唯一 68

.10数据元版本号验证 69

.11数据元版本号信息查询 69

.12数据元版本信息更新 70

2.3.3数据标准管理 70

功能描述 70

.1设计思路 71

接口设计 72

.1数据标准管理列表查询接口 72

.2数据标准管理新增接口 73

.3数据标准管理修改接口 73

.4数据标准管理删除接口 74

.5数据标准查看详情接口 74

.6数据标准名称、代码、标准号、英文名称是否唯一 75

2.4数据资源共享管理 76

2.4.1编目管理 76

2.4.2前段码管理 76

功能描述 76

实现框架 77

.1设计思路 77

接口设计 78

.1前段码管理列表接口 78

.2前段码新增接口 79

.3前段码修改接口 80

.4校验前段码名称和编码是否唯一 80

.5前段码删除 81

.6前段码导入 81

.7前段码导出 82

.8前段码批量导入模板下载 83

2.4.3资源目录管理 83

功能描述 83

实现框架 84

.1设计思路 84

接口设计 87

.1资源编目 87

.2编目修改 91

.3资源删除 93

.4列表查询 94

.5批量撤销 95

.6批量导入 95

.7批量导出 97

.8编目详情 97

.9获取数据项 100

.10唯一性校验 101

2.4.4文件 102

功能描述 102

实现框架 103

.1设计思路 103

主要逻辑实现描述 103

界面设计 104

接口设计 105

.1资源发布 105

.2获取注册文件列表 106

.3查看编目信息 107

.4发布撤销 110

2.4.5数据库/数据集 110

实现框架 110

.1设计思路 1