1-27-大数据技术.pptx

大数据技术 1. 大数据的概念 2. 大数据的特点 3. 大数据的应用 4. 挑战 大数据技术 1. 大数据的概念 大数据 Big Data 1. 大数据的概念 大数据是由数量巨大、结构复杂、类型众多的数据来构成，所涉及的信息量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理的地步。 大数据对数据处理的实时性和有效性提出了更高要求。 1. 大数据的概念 大数据与云计算的关系 2. 大数据的特点 数据量(Volume)巨大 数据类别(Variety)繁多 价值(Value)密度低 处理速度(Velocity)快 大型数据集数据存储量从TB（1TB=1024GB=2，即2的40次方字节）级别跃升到PB（1PB=1024TB，即2的50次方字节）级别。 2. 大数据的特点 数据量(Volume)巨大 数据类别(Variety)繁多 价值(Value)密度低 处理速度(Velocity)快 大数据的数据来自多种数据源，包括半结构化和非结构化数据。 2. 大数据的特点 数据量(Volume)巨大 数据类别(Variety)繁多 价值(Value)密度低 处理速度(Velocity)快 以视频为例，连续不间断监控过程中，可能有用的数据仅仅为一两秒钟。 2. 大数据的特点 数据量(Volume)巨大 数据类别(Variety)繁多 价值(Value)密度低 处理速度(Velocity)快 这也是大数据的鲜明特征，其包含大量在线或实时数据分析处理的需求，时效性要求严苛。一般要在秒级时间范围内给出分析结果，时间太长就失去价值了（被称为一秒定律或秒级定律）。 3. 大数据的应用 4. 大数据的挑战 数据处理方面 数据存储方面 易用性方面 数据采集方面 1 2 3 4 小结： 大数据是由数量巨大、结构复杂、类型众多的数据来构成。 大数据具有4个特点：数据量巨大、数据类别繁多、价值密度低、处理速度快。