大数据存储与处理—第三讲.pptVIP

*;*;;一个分布式文件系统和并行执行环境（框架） 让用户便捷地处理海量数据 Apache软件基金会下面的一个开源项目 目前Yahoo!是最主要的贡献者 ;Apache Lucene 开源的高性能全文检索工具包 Apache Nutch 开源的 Web 有哪些信誉好的足球投注网站引擎 Google 三大论文 MapReduce / GFS / BigTable Apache Hadoop 大规模数据处理;扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。 成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。 高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速。 可靠性（Reliable）：hadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。 ;*;雅虎北京全球软件研发中心 IBM Facebook Amazon Yahoo! 中国移动研究院 英特尔研究院 百度、腾讯、新浪、搜狐、淘宝 ;Yahoo Hadoop应用揭秘 中国移动 联通海量上网日志数据 ;2010年10月时：Yahoo目前有超过38000台服务器，有超过4000个以上的服务器集群，数据总量达到了170PB，每日的数据增量在10TB以上。 ;Yahoo的Hadoop应用包含有有哪些信誉好的足球投注网站、日志处理（Analytics, Reporting, Buzz）、用户建模、内容优化，垃圾邮件过滤器以及广告计算等。 如何利用Hadoop对海量数据进行优化处理是Yahoo正在致力于工作的内容。以网络分析为例，Yahoo目前有超过100亿个网页，1PB的网页数据内容，2万亿条链接，每日面临这300TB的数据输出。“在应用Hadoop前，实施这一过程我们大概需要1个月的时间，但应用后仅需要1周时间”;“再以Yahoo有哪些信誉好的足球投注网站为例，我们的服务器上保留有用户三年来的有哪些信誉好的足球投注网站记录，这个数据是由超过 10TB的自然语言文本库所组成”，“如果数据重整，我们在应用Hadoop前需要1个月的时间进行处理，而在有了Hadoop后仅仅需要30分钟。” Hadoop也非万能，它采用Java实现，Java的IO处理虽然没有性能瓶颈，但是对于CPU密集型的任务是一个麻烦， 因此，有些算法效率不会提高很多。;中国移动大云 在中国移动内部，Hadoop已经成为一个重要的数据挖掘工具，中国移动已经把Hadoop的群用来进行闭环的数据挖掘，和传统算法的数据挖掘性能相比，有很大的提升，而且成本非常低。;*;*;*;为以流式数据访问模式存储超大文件而设计的文件系统 超大文件 指的是几百MB，几百GB，几百TB，甚至几百PB 流式数据访问 HDFS建立的思想是：一次写入、多次读取模式是最高效的。 商用硬件 HDFS不需要运行在昂贵并且高可靠的硬件上。;硬件错误是常态，因此需要冗余。 程序采用“数据就近”原则分配节点执行。 ;存储并管理PB级数据 处理非结构化数据 注重数据处理的吞吐量（延迟不敏感） 应用模式为：write-once-read-many存取模式（无数据一致性问题）;存储小文件 (不建议使用) 大量的随机读 (不建议使用) 需要对文件的修改 (不支持) 多用户写入(不支持);文件切分成块（默认大小64M），以块为单位，每个块有多个副本存储在不同的机器上，副本数可在文件生成时指定（默认3） NameNode是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间,副本数,文件权限），以及每个文件的块列表以及块所在的DataNode等等 DataNode在本地文件系统存储文件块数据，以及块数据的校验和 可以创建、删除、移动或重命名文件，当文件创建、写入和关闭之后不能修改文件内容。 ;*;*;*;Namenode是一个中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。 文件操作，NameNode负责文件元数据的操作，DataNode负责处理文件内容的读写请求，跟文件内容相关的数据流不经过NameNode，只会询问它跟那个DataNode联系，否则NameNode会成为系统的瓶颈 ;副本存放在那些DataNode上由NameNode来控制，根据全局情况做出块放置决定，读取文件时NameNode尽量让用户先读取最近的副本，降低带块消耗和读取时延 Namenode全权管理数据块的复制，它周期性地从集群中的每个Datanode接收心跳信号和块状态报告(Blockreport)。接收到心跳信号意味着该Datanode节点工作正常。块状态报告包含了一个