Hadoop及Mapreduce入门 pub.pptVIP

卢学裕@优酷网 2014.07 数据太多了，需要能存储、快速分析Pb级数据集的系统 单机的存储、IO、内存、CPU有限，需要可扩展的集群 使用门槛低，数据分析是个庞杂的问题，MPI太复杂 单点故障问题 –机器多了单点故障成为正常的异常 –节点有增有减 Hadoop就是一个满足易用性、可靠性、可扩展性的存储计算平台，还是开源的！ Dec 2004 – Google GFS paper published July 2005 – Nutch uses MapReduce Feb 2006 – Becomes Lucene subproject Apr 2007 – Yahoo! on 1000-node cluster Apr 2008 – Fastest QuickSort on 1TB Jan 2008 – An Apache Top Level Project Jul 2008 – A 4000 node test cluster 大数据集存储 – 10K nodes, 100 million files, 10 PB 应付硬件故障 – 用文件多副本应付故障问题 – 故障自动检测和恢复 更适合批量处理 – 搬移计算比搬移数据更廉价 – 数据一次写入，多次读取 – 更注重数据读取的高吞吐量，而不是低延时 适应复杂的硬件及软件平台 一个集群只有一个Namespace 跟Unix的文件系统Namespace很相似，不过不支持Hard link、Soft link 文件分块存储 一般一块大小为64M，可配置 每块会被复制在多个DataNode上 支持回收站 当一个文件被删除时会先放入用户下的回收站 回收站会被定期清除 恢复的方式是将文件从回收站移出 Meta-data 存在内存中 – 整个Meta-data放入主内存 – No demand paging of meta-data Meta-data记录了 – 文件列表信息 – 每个文件的块列表 – 每个块对应的DataNode – 文件属性，如创建时间、创建者、几份副本等 Transaction Log (EditLog ) –记录了文件系统的每个变化，如创建文件、删除文件、修改文件的副本数等 – EditLog会被合并为FsImage并存入磁盘 Meta-data 磁盘故障 – NameNode可以维护多份数据 A Block Server – 将数据存储本机文件系统(e.g. ext3) – 存储数据块的Meta-data(e.g. CRC, ID) 汇报 – 启动时向NameNode注册本地存储的文件块 –定期向NameNode报告本机存活（心跳） 数据输送 – 接收来自客户端的写数据 – 向客户端发送数据 –将数据传输到指定的 DataNodes 机架感知 NameNode能感知机架，选择较优的方式 假设有3份或以上，目前的策略是 一份放在本地节点上 第二份放在另外一个机架的节点上 第三份放在跟第二份同机架的不同节点上 其他的随机放置 客户端从最近的块读取 用CRC32来做数据校验 – Use CRC32 文件写入 – 由客户端负责计算CRC – checksum存放在DataNode 文件读取 –客户端从DataNode读取数据和checksum –由客户端校验，如果不通过，则客户端尝试从其他的副本读取数据 优酷推荐系统 Hadoop入门 Outlines Hadoop Overview HDFS Map-reduce Programming Paradigm Hadoop Map-reduce Job Scheduler Resources Hadoop, Why? Hadoop History Hadoop-related projects Hive：数据仓库，facebook贡献 PIG：并行计算的一种高级语言，yahoo贡献 Nutch：网页有哪些信誉好的足球投注网站软件，不只是爬虫 Avro：数据序列化系统 Chukwa：用于管理大规模分布式集群的数据收集系统 ZooKeeper：用于分布式应用的高性能协同服务 Hbase：类似于BigTable的，key-value数据库系统 Mahout：分布式机器学习和数据挖掘的Lib Hama：基于BSP的超大规模科学计算框架 …… Who Uses Hadoop Amazon 著名的AWS Adobe Adknowledge： behavioral targeting, clickstream analytics Alibaba Baidu: 有哪些信誉好的足球投注网站日志分析；每周处理3000TB 数据 Bixo Labs：web mining Datagraph：处理RDF数据，存储、索引 E