大数据基础-大数据技术概述.pdfVIP

第1章大数据概述 华中科技大学软件学院 目录 大数据地有关概念 大数据处理地基础技术 流行大数据技术 大数据解决方案 大数据发展现状与趋势 教学资料辅助与练习作业 2 大数据有关概念 大数据（BigData）:无法在一定时间内用常规软件工具对其内容进行抓取,管理与 处理地数据集合。 ①大数据地特征 大数据有4个特性,简称4V: Volume （规模性） Variety （多样性） Velocity （高速性） Value （价值性） 3 ②大数据地构成 大数据分为结构化,半结构化与非结构化三种 一般来讲,结构化数据只占全部数据地20% 以内,但是就是这20%以内地数据浓缩了过 去很久以来企业各个方面地数据需求,发展 也已经成熟。而无法完全数字化地文档文 件,图片,图纸资料,缩微胶片等信息就属于 非结构化信息,非结构化中往往存在大量地 有价值地信息,特别是随着移动互联网,物 联网地发展,非结构化信息正以成倍速度快 速增长。 目录 大数据地有关概念 大数据处理地基础技术 流行大数据技术 大数据解决方案 大数据发展现状与趋势 教学资料辅助与练习作业 5 大数据处理地基础技术 ①大数据地处理流程 一般而言,大数据处理流程,我们可分为四步骤:数据采集,数据导入与清洗处理,数据 计分析与挖掘,结果可视化 ①大数据地处理流程 1,数据采集 大数据地采集一般采用ETL （Extract-Transform-Load）工具负责将分布地,异构数据源中地数据如关 系数据,平面数据以及其它非结构化数据等抽取到临时文件或数据库中。 2,数据清洗与预处理 采集好数据,肯定不少是重复或是无用地数据,此时需要对数据进行简单地清洗与预处理,使得不同来源地 数据整合成一致地,适合数据分析算法与工具读取地数据,如数据去重,异常处理与数据归一化等,然后将这 些数据存到大型分布式数据库或