智能建造——2.2 大数据.pptxVIP

主讲教师：xxx第二章智能建造的基础共性技术智能建造第二节大数据

02大数据的处理01大数据概述CONTENT

目录

大数据概述PART01

01大数据概述1.1大数据的概念大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。海量高增长率多样化大数据

01大数据概述1.1大数据的概念当大数据处理包含数千万个文档、数百万张图片或者工程设计图的数据集时，如何快速访问这些数据将成为核心挑战。大数据的特征规模大多样性非结构化大数据的处理对象数千万个文档数百万张图片数百万工程设计图

01大数据概述1.1大数据的概念通常将大数据的特性归纳为5个“V”。Veracity直实性Velocity速度Value价值Volume数据量Variety多样性

01大数据概述1.1大数据的概念随着存储设备容量的增大，存储数据量的增多，大数据的容量指标是动态增加的。1.Volume——数据量单位定义字节数（二进制）字节数（十进制）千（KB）1024B210103兆（MB）1024KB220105吉（GB）1024MB230109太（TB）1024GB2401012拍（PB）1024TGB2501015艾（EB）1024PB2601018泽（ZB）1024EB2701021超大规模数据海量数据大数据

01大数据概述1.1大数据的概念大数据的主要来源是互联网，所以大数据包含多种数据类型。2.Variety——数据类型大数据的主要来源图像文档地理定位数据网络日志声音和影视文件元数据电子邮件表格数据文本字符串文件

01大数据概述1.1大数据的概念价值是通过对大数据获取、存储、抽取、筛选、集成、挖掘与分析来获得的。3.Value——价值密度80%-90%

无效数据10%-20%

有效数据以视频为例，连续不间断监控过程中，可能有用的数据仅仅有几秒，难以进行预测分析、运营智能、决策支持等计算。

01大数据概述1.1大数据的概念Facebook每天产生25亿以上个条目，每天增加数据超过500TB，这样的变化率产生的数据需要快速处理，进而创造出价值。4.Velocity——速度Facebook

01大数据概述1.1大数据的概念真实性是指数据是所标识的数据。5.Veracity——数据真实性筛选集成整合高质量的数据

01大数据概述1.2大数据的分析方法大数据分析应用最普遍的方法就是预测性分析。1.预测性分析从大数据中挖掘出有价值的知识和规则运用科学建模的手段呈现出结果将新的数据带入模型，从而预测未来的情况

01大数据概述1.2大数据的分析方法2.可视化分析可视化分析可视化分析的特点直观地呈现大数据特点非常容易被用户所接受可以很直观地展示数据

01大数据概述1.2大数据的分析方法可视化分析结果是给用户看的，而数据挖掘算法是给计算机看的，通过让机器学习算法、按人的指令工作，从而呈现给用户隐藏在数据之中的有价值的结果。3.大数据挖掘算法大数据分析的理论核心就是数据挖掘算法，算法不仅要考虑数据的量，也要考虑数据处理的速度。分类预测关联规则聚类决策树描述可视化复杂数据类型挖掘常见的数据挖掘算法

01大数据概述1.2大数据的分析方法语义技术是指从词语所表达的语义层次上来认识和处理用户的检索请求的技术。4.语义引擎使得自然语言具备语义上的逻辑关系，能够在网络环境下进行广泛有效的语义推理，从而更加准确、全面地实现用户的检索。对网络中的资源对象进行语义上的标注对用户的查询表达进行语义处理语义引擎

01大数据概述1.2大数据的分析方法数据质量和数据管理是指为了满足信息利用的需要，对信息系统的各个信息采集点进行规范。5.数据质量和数据管理建立模式化的操作规程原始信息的校验错误信息的反馈、矫正高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和价值。

01大数据概述1.3大数据与云计算、人工智能的关系为大数据的汇聚和分析提供了基础计算设施通过计算寻找数据中的隐含知识，进而支撑对历史规律的发现、现实状态的感知及未来行为的预测云计算大数据人工智能

大数据的处理PART02

02大数据的处理2.1数据采集从数据中获取价值，首先要解决的问题是数据化，即在确定目标用户的基础上，从现实世界中采集信息，并对信息进行计量和记录。数据的来源商业数据互联网数据物联网数据这些数据包括结构化、半结构化和非结构化数据

02大数据的处理2.1数据采集数据获取后，需要对数据进行变换、清洗等预处理，然后才能输出满足数据应用要求的数据。数据采集方法DPI采集系统日志采集数据库采集数据治理获取这些