漫谈大数据_20140313_雷春蔚.pptxVIP

;;什么是大数据; 大数据是指无法在一定时间内利用常规软件工具对其内容进行抓取、管理和处理的数据集合。 Big Data usually includes data sets with sizes beyond ability of commonly-used software tools to capture,curate,manage,and process the data witin a tolerable elapsed time. ——wiki;;;大数据是如何产生的; 人类历史上从未有哪个时代和今天一样产生如此海量的数据。数据的产生已经完全不受时间、地点的限制。 从开始采用数据库作为数据管理的主要方式开始，人类社会的数据产生方式大致经历了3个阶段，而正是数据产生方式的巨大变化最终导致了大数据的产生。;; 简单来说，数据产生经历了被动、主动和自动3个阶段。这些被动、主动和自动的数据共同构成了大数据的数据来源，但其中自动式的数据才是大数据产生的最根本原因。;大数据有哪些相关技术; Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，以Hadoop分布式文件系统（HDFS）和MapReduce分布式变成模型为核心，为用户提供了系统底层细节透明的分布式基础架构。 ; HDFS采用了主从（master/slave）结构模型，一个HDFS集群是由一个NameNode和若干个DataNode组成的，其中NameNode作为主服务器管理文件系统的命名空间和客户端对文件的访问操作；DataNode负责管理存储的数据。 ; MapReduce是一种并行编程模式，利用这种模式软件开发者可以轻松的编写出分布式并行程序。 MapReduce框架是有一个运行在主节点的JobTracker和运行在每个集群从节点的TaskTracker共同组成。 主节点负责调度构成一个作业的所有任务，从节点仅负责由主节点指派的任务。 ; MapReduce执行时先指定一个Map函数，把输入键值对映射成一组新的键值对，经过一定处理后交给Reduce，Reduce对相同key下的所有value进行处理后输出对作为最终的结果; ;大数据相关技术;提交作业 初始化作业 分配任务 执行任务 完成作业 ;