大数据主要技术分类.pdf

大数据主要技术分类--第1页

大数据主要技术分类

大数据主要技术分类

一、数据采集与存储技术

1.1数据采集技术

1.1.1传感器技术

1.1.2数据抓取技术

1.1.3数据抽取技术

1.2数据存储技术

1.2.1关系型数据库

1.2.2非关系型数据库

1.2.3分布式文件系统

1.2.4数据仓库技术

二、数据处理与分析技术

2.1数据清洗与预处理技术

2.1.1数据去重与去噪

2.1.2缺失值处理

大数据主要技术分类--第1页

大数据主要技术分类--第2页

2.1.3异常值处理

2.2数据挖掘与机器学习技术

2.2.1分类算法

2.2.2聚类算法

2.2.3关联规则挖掘

2.2.4预测算法

2.3数据可视化技术

2.3.1图表绘制技术

2.3.2地理信息可视化

2.3.3时间序列可视化

2.4实时数据处理技术

2.4.1流式计算技术

2.4.2复杂事件处理技术

2.4.3实时推荐技术

三、大数据存储与计算平台

3.1分布式计算框架

3.1.1Hadoop

大数据主要技术分类--第2页

大数据主要技术分类--第3页

3.1.2Spark

3.1.3Flink

3.2分布式存储系统

3.2.1HDFS

3.2.2Cassandra

3.2.3MongoDB

3.3大数据处理引擎

3.3.1Hive

3.3.2Presto

3.3.3Impala

3.4云原生大数据平台

3.4.1AWSEMR

3.4.2AzureHDInsight

3.4.3GoogleDataproc

四、数据安全与隐私保护技术

4.1数据加密技术

4.1.1对称加密

大数据主要技术分类--第3页

大数据主要技术分类--第4页

4.1.2非对称加密

4.1.3哈希加密