大数据本介绍.pptVIP

大数据 Big Data 大数据引领我们走向数据智能化时代 大数据的定义理解 相关技术与应用 机遇与挑战 大数据的定义理解 大数据的定义理解 1)大数据时代的吉最Dada大 什么是大数据 大数据的“4V特征 大数据的构成 大数据时代的背景 “大数据”的诞生 不仅使世界充片着比以往更多的信 且其增长速度也在加快。信息爆炸的学科如天文学 和基因学,创造出了“大数据”这个概念*。如今,这个概念几平应用到了所有人类智力与发展的领域 21世纪是数据信息大发展的时 facebook社交网络 代,移动互联、社交网络、电子商务 等极大拓展了互联网的边界和应用范 围,各种数据正在迅速膨胀并变大 互联网(社交、有哪些信誉好的足球投注网站、电商)、移动 电子商务 智慧地球 保险)、电信(话、短信)都在疯 狂产生着数据 Big data名词由来 EMC2011年5月,在“云计算相遇大数据为主题的 JEMCWorld2 011会议中,EMC抛出了 Big Data概念 ● intemet of things● hia data 008 20世纪90年代,数据仓库之父的BⅢImon就经常提及 Big Data 大数据时代到来 新的时代,人们从信息的被动接受者变成了主动创造者 ,哪哪 DATA. 398 293752024 507001.3729 _心 ]〖日 全球每秒钟发送29百万封电子邮件,分钟读一篇的话,足够个人昼夜不息的读55年 每天会有288万个小时的视频上传到 Youtube,足够一个人昼夜不息的观看33年 推特上每天发布5千万条消息,假设10秒钟浏览条信息,这些消息足够个人昼夜不息的浏览16 每天亚马逊上将产生63百万笔订单 每个月网民在 Facebook上要花费7干亿分钟,被移动互联网使用者发送和接收的据高达13EB. Google上每大需要处理24PB的数据 大数据时代到来 数据量增加 数据结构日趋复杂 大三新数据源的出现则导致了非结构化、半结构化数据 爆发式的增长 根据IDC监测,人类产生的数据量正在呈指数级增 每两年舒一番,这个速度在2020年之前会 生续保持下去。这意味着入类在最近两年产生的数 之前产生的全部数 B-EBZ6 这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴 大数据时代正在来临 大数据的4V特征 非结构化数据的超大规模和增长 总数据量的80~90% 体量 Volume 匕结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍 大数据的异构和多样性 很多不同形式(文本、图像、视频、机器数据 Variety 无模式或者模式不明显 不连贯的语法或句义 大量的不相关信息 对未来趋势与模式的可预测分析 价值密度vaue深度复杂分析(机器学习、人工智能∨传统商务智能 (咨询、报告等) 实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效 “大量化oume)、多样化( Variety)、快速化 Velocity)、价值密度低( Value)”就是 大数据”的显著特征,或者说,只有具备这些特点的数据,才是大数据。 大数据的构成 交易数据和交互数据 大数据=海量数据+复杂类型的数据 集在内的所有数据集 海丘交易数据 内部的经营交易信息主要包括联机交易数据和联机 析数据,是结构化的、通过关系数据库进行管理和访 问的静态、历史数据。诵过这些数据,我们能了解过去 发生了什么。 海〓交互数据 源于 Facebook、 Twitter、 LinkedIn及其他来源的社交 媒体数据构成。它包括了呼叫详细记录CDR、设备和传 感器信息、GPS和地理定位映射数据 管理文件传 输 Manage File Transfer协议传送的海晕图像文件、 web文本和点击流数据、科学信息、电子邮件等等。可一 以告诉我们未来会发生什么 大数据的涌现经催生出了设计用于据密集型处玶的 架构。例如目有开放源码、在商品硬件群中运行的 Apache Hadoop.