网络资料编着=厦门大学计算机科学系教师林子雨编着httpwww.PDFVIP

厦门大学计算机科学系研究生课程 《大数据技术基础》 主讲教师：林子雨 /linziyu 课程网址：/node/422 =课程教材由林子雨老师根据网络资料编著= 厦门大学计算机科学系教师 林子雨 编著 /linziyu 2013 年9 月 1 / 26 厦门大学计算机科学系研究生课程 《大数据技术基础》 主讲教师：林子雨 /linziyu 前言 本教程由厦门大学计算机科学系教师林子雨编著，可以作为计算机专业研究生课程《大 数据技术基础》的辅助教材。 本教程的主要内容包括：大数据概述、大数据处理模型、大数据关键技术、大数据时代 面临的新挑战、NoSQL 数据库、云数据库、Google Spanner、Hadoop、HDFS、HBase、MapReduce、 Zookeeper 、流计算、图计算和Google Dremel 等。 本教程是林子雨通过大量阅读、收集、整理后，精心制作的学习材料，与广大数据库爱 好者共享。教程中的内容大部分来自网络资料和书籍，一部分是自己撰写。对于自写内容， 林子雨老师拥有著作权。 本教程PDF 文档及其全套教学PPT 可以通过网络免费下载和使用（下载地址： /node/422 ）。教程中可能存在一些问题，欢迎读者提出宝贵意见和建 议！ 本教程已经应用于厦门大学计算机科学系研究生课程《大数据技术基础》，欢迎访问 2013 班级网站/node/423。 林子雨的E-mail 是：ziyulin@ 。 林子雨的个人主页是：/linziyu。 林子雨于厦门大学海韵园 2013 年9 月 2 / 26 厦门大学计算机科学系研究生课程 《大数据技术基础》 主讲教师：林子雨 /linziyu 第1 章 大数据概述 厦门大学计算机科学系教师 林子雨 编著 /linziyu 2013 年9 月 3 / 26 厦门大学计算机科学系研究生课程 《大数据技术基础》 主讲教师：林子雨 /linziyu 第1 章 大数据概述 大数据时代已经到来。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦 肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们 对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。” “大数 据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却 因为近年来互联网和信息行业的发展而引起人们关注。 本章内容旨在让大家更好地认识和了解大数据，要点如下：  大数据概念  大数据的产生和应用  大数据作用  大数据与大规模数据、海量数据的差别  典型的大数据应用实例  从数据库到大数据  大数据与云计算  大数据与物联网  对大数据的错误认识  大数据技术  大数据存储和管理技术  大数据生态系统 1.1 大数据概念 随着以博客、社交网络、基于位置的服务LBS 为代表的新型信息发布方式的不断涌现， 以及云计算、物联网等技术的兴起，数据正以前所未有的速度在不断的增长和累积，大数据 时代已经来到。 根据IDC 作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一