大数据走向云计算 (2).ppt

第2章 大数据时代 大数据是什么？是一种运营模式，是一种能力，还是一种技术，或是一种数据集合的统称？今天我们所说的“大数据”和过去传统意义上的“数据”的区别又在哪里？大数据的来源又有哪些？等等。 “大数据”指的是收集和分析大量信息的能力，而这些信息涉及到人类生活的方方面面，目的在于从复杂的数据里找到过去不容易昭示的规律。相比“数据”，“大数据”有两个明显的特征： ● 第一，上文已经提到，数据的属性是包括结构化、非结构化和半结构化数据； ● 第二，数据之间频繁产生交互，大规模进行数据分析，并实时与业务结合进行数据挖掘。 2.1 什么是大数据 2.2 大数据来源 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。 大数据（Big data）通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。 从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。 大数据的4个“V”，或者说特点有四个层面： ● 第一，数据体量巨大。从TB级别，跃升到PB级别； ● 第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。 ● 第三，价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。 ● 第四，处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume，Variety，Value，Velocity。 2.3 大数据商业价值 大数据是为解决巨量复杂数据这种趋势而生的。巨量复杂数据有两个核心点，一个是巨量，一个是复杂。 大数据还有一个核心是“复杂”。“复杂”意味着数据是多元的，不再是过去的结构化数据了，因此我们过去的那一套数据分析的模型，理论已经不管用的，必须针对多元数据重新构建一套有效的分析理论/分析模型，甚至分析行为所依托的软硬件都必须进行革新。从这两个角度看来，大数据是企业在现在及未来的发展路上不可或缺的。 2.4打造高能效数据中心 用户应该如何怎样做，才能进一步优化自己数据中心的能效呢？英特尔给出的答案是：从其部署的 IT 设备中处理器内部的每一颗晶体管，到处理器和芯片，到芯片封装和散热器，到主板和系统冷却，然后到 IT 设备的电源，再到机架，最后到整个数据中心设施，乃至电网和配电，每一层级的功耗都要能省则省。 在云计算大潮席卷全球的时刻，为了帮助企业用户构建一个能效最优化的云计算基础设施，英特尔还是从自己擅长的技术领域出发，打造了一系列节能技术来实现上述目标。 2.5 大数据变革 2.5.1 变革公共卫生 2.5.2 变革商业 2.5.3 变革思维 2.5.4开启重大的时代转型 大数据的科学价值和社会价值正是体现在这里。一方面，对大数据的掌握程度可以转化为经济价值的来源。另一方面，大数据时代已经撼动了世界的方方面面，从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域。 2.6 大数据的核心 大数据的核心就是预测。它通常被视为人工智能的一部分，或者更确切地说，被视为一种机器学习。但是这种定义是有误导性的。大数据不是要教机器像人一样思考。相反，它是把数学算法运用到海量的数据上来预测事情 发生的可能性。 在不久的将来，世界许多现在单纯依靠人类判断力的领域都会被计算机系统所改变甚至取代。计算机系统可以发挥作用的领域远远不止驾驶和交友，还有更多更复杂的任务。 2.7 大数据的挑战 最近几年，数据仓库又成为数据管理研究的热点领域，主要原因是当前数据仓库系统面临的需求在数据源、需提供的数据服务和所处的硬件环境等方面发生了根本性的变化，这些变化是我们必须面对的。 传统的数据仓库假设主题是较少变化的，其应对变化的方式是对数据源到前端展现的整个流程中的每个部分进行修改，然后再重新加载数据，甚至重新计算数据，导致其适应变化的周期较长。这种模式比较适合对数据质量和查询性能要求较高，而不太计较预处理代价的场合。但在大数据时代，分析处在变化的业务环境中，这种模式将难以适应新的需求。 2.8大数据现状 在大数据时代，企业之间正在为了吸引并留住商业智能和信息管理的专业人才而展开战