大数据的介绍概述.pptxVIP

;;;你想像不到。。。; 近年来，全球数据存储量呈现爆炸式增长，美国互联网数据中心指出,互联网上的数据每年将增长50%,每两年便将翻一番,目前世界上90%以上的数据是最近几年才产生的。据中为咨询预测，到2020年，全球数据量将达到35ZB（相当约90亿块4TB硬盘容量）。 根据国际数据公司（IDC）的测算，似乎没有足够的磁盘空间存储。就传统IT 企业来看，其结构化和非结构化的数据增长也是惊人的。2005年企业存储的结构化数据为4EB，到2015年将增至29EB，年复合增长率逾20%。非结构化数据发展更猛。2005年为22EB，2015年将增至1600EB，年复合增长率约60%，远远快于摩尔定律。 ;1Byte = 8 Bit?1 KB = 1,024 Bytes　?1 MB = 1,024 KB = 1,048,576 Bytes　?1 GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes?1 TB = 1,024 GB = 1,048,576 MB = 1,073,741,824 KB = 1,099,511,627,776 Bytes?1 PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes?1 EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes?1 ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes?1 YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes?;那么，庞大的数据; 据统计，国家图书馆的藏书量有2600万册，如果从数据来看的话，一个家庭一年产生的数据相当于半个国家图书馆的数据总量。 而大数据并非现在才出现，比如在古代的人口普查，中国在东汉时期就有几千万人，这显然也是庞大数据。大数据并不是什么崭新的概念，好几十年前 CERN 的科学家就在处理每秒上看 PB (Peta Bytes)巨量资料。那为什么一直到近几年「大数据」这颗塬子弹才爆发呢。;　　 大数据的特点 Volume(大量) Velocity(高速) Variety(多样) veracity(真实性) 数据量大、数据种类多、 要求实时性强、数据所蕴藏的价值大。在各行各业均存在大数据，但是众多的信息和咨询是纷繁复杂的，我们需要有哪些信誉好的足球投注网站、处理、分析、归纳、总结其深层次的规律。最后是价值，从大量的低质量、低价值的数据中获取知识，犹如从大海中捞针，获取数据成本很高，但有待挖掘价值大。 大数据的挖掘和处理。 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据进行分布式数据挖掘（SaaS），但它必须依托云计算的分布式处理、分布式数据库（PaaS）和云存储、虚拟化技术（IaaS）。大数据的挖掘和处理必须用到云技术。 ; 科学技术及互联网的发展，推动着大数据时代的来临，各行各业每天都在产生数量巨大的数据碎片，数据计量单位已从从Byte、KB、MB、GB、TB发展到PB、EB、ZB、YB甚至BB、NB、DB来衡量。 越来越多配备了连续测量、报告运行情况的传感器的设备的出现。几年前，跟踪遥测发动机运行仅限于价值数百万美元的航天飞机。 　　 计算机产生的数据可能包含着关于因特网和其他使用者行动和行为的数据，从而提供了对他们的愿望和潜在需求的有用信息。 　　 使用者自身产生的数据信息。人们通过电邮、短信、微博、QQ等产生的文本信息。 　　 至今最大的数据是音频、视频和符号数据。这些数据结构松散，数量巨大，很难从中挖掘有意义的结论和有用的信息。 ; 数据采集：ETL工具负责将分布的、异构数据源中的数据,如关系数据、平面数据文件等抽取到临时中间层后,进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。　　数据存取：关系数据库、NOSQL、SQL等。　　基础架构：云存储、分布式文件存储等。　　数据处理：自然语言处理(NLP，NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。处理自然语言的关键是要让计算机理解自然语言，所以自然语言处理又叫做自然语言理解(NLU，NaturalLanguage Understanding)，也称为计算语言学(Computational Li