气象大数据平台建设方案.docx

建

建设方案

气象大数据平台

i

目录

1引言 1

2大数据平台的基本构成 3

2.1概述 3

2.2数据基础决定平台框架 4

2.2.1从分类大数据到选择大数据解决方案 4

2.2.2依据大数据类型对业务问题进行分类 7

2.2.3使用大数据类型对大数据特征进行分类 9

2.3数据分类决定应用方案 12

2.4大数据平台的逻辑层次 13

2.4.1大数据集成层 14

2.4.2大数据存储层 15

2.4.3大数据分析层 15

2.4.4大数据应用层 16

3大数据平台的功能架构 16

3.1组件构成 16

3.1.1横向层 16

大数据集成层 16

大数据存储层 19

分析层 20

使用层 NEN…21

3.1.2垂直层 23

信息集成 24

大数据治理 24

服务质量层 25

系统管理 27

ii

3.2功能应用 28

3.3原子模式 28

3.3.1数据使用组件 29

可视化组件 29

即席发现组件 30

数据转储组件 31

信息推送/通知组件 31

自动响应组件 32

3.3.2数据处理组件 32

历史数据分析组件 32

高级分析组件 33

预处理原始数据组件 34

即席分析组件 35

3.3.3数据访问组件 36

web和社交媒体访问组件 36

物联网设备数据的访问组件 39

基础数据(观测数据和生产数据)的访问模式 40

3.3.4数据存储组件 41

分布式非结构化数据存储组件 41

分布式结构化数据存储组件 42

传统数据存储组件 42

云存储组件 42

3.4复合模式 43

3.4.1存储和探索复合组件 43

3.4.2专业分析和预测分析组件 4

3.4.3OLAP在线分析 45

3.4.4原子模式和符合模式的映射 46

.1图10.将原子模式映射到架构层 48

3.5解决方案模式(模拟应用场景) 48

ii

4技术架构实现方案 49

4.1概述 49

4.2技术架构的关键问题 49

4.2.1hadoop 49

4.2.2数据库 49

4.2.3流计算 50

4.3数据库功能支持 50

4.3.1开发及应用接口 50

4.3.2SQL语法兼容性 52

4.3.3生命周期管理功能 5

4.3.4热数据 56

4.3.5冷数据 56

4.3.6表分区功能 57

4.3.7表压缩功能 58

4.3.8大表索引管理 58

4.3.9数据导入与导出 59

4.3.10