海量數据处理与存储调研.docxVIP

海量数据处理与存储调研Hadoop发展现状[]Apache Nutch 是 Hadoop 的源头，该项目始于 2002年， 是Apache Lucene的子项目之一。 至 2004年，Google在OSDI上公开发表了题为 “MapReduce: simplified data processing on large clusters”的论文，受到启发的 Doug C 等人 开 始 实 现 MapReduce 计 算 框 架 并 与 NDFS (Nutch distributed file system) 结合支持 Nutch 的主要算法 。 至2006 年逐渐成为一套完整而独立的软件 ，起名为 Hadoop。2008 年初，Hadoop 成为 Apache 的顶级项目，应用到除Yahoo! 以外的很多互联网公司。Hadoop 技术已经在互联网领域得以广泛的应用 ， 同时也得到研究界的普遍关注。 如 Yahoo! 使用 4 000 节点的机群运行 Hadoop， 支持广告系统和 Web 有哪些信誉好的足球投注网站的研究；Facebook 使用 1 000 节点的机群运行 Hadoop，存储日志数据，支持其上的数据分析和机器学习；IBM 的蓝云产品也直接将 Hadoop 软件集成到自己本身的云计算平台上；百度用 Hadoop 处理每周 200 TB 的数据，进行有哪些信誉好的足球投注网站日志分析和网页数据挖掘工作； 中移动研究院基于 Hadoop 开发了“大云 ”(big cloud)系统 ，不但用于相关数据分析，还对外提供服务；淘宝的 Hadoop 系统用于存储并处理的交易相关数据。 国内的高校和科研院所基于 Hadoop 在数据存储、资源管理、作业调度、性能优化、系统高可用性和安全性方面进行研究， 相关研究成果多以开源形式贡献给 Hadoop 社区。Cloudera 公司推出了首个 Hadoop 商业版本，一个能够存储千兆位容量信息的服务器产品。公司发言人表示“hadoop 应用于 Google、Yahoo、Facebook 等公司 ， 已经是一个成功的产品，发布该产品的商业版本，几乎是理所当然的事情 ”。 Cloudera 的 Hadoop 是 免 费 的 ， 并 将 分 配 在Apache 2 软件许可下 。淘宝网-集群存储架构淘宝网部署了一个1.5PB的华为赛门铁克Oceanspace N8000 Cluster NAS存储系统，以及一个包含赛门铁克FileStore软件的解决方案，该集群NAS存储系统方案能够对备份和恢复、动态存储分层（DST）和数据快照进行整合管理。第二台华为赛门铁克Oceanspace N8000部署在一个“active-active”系统中，从而让淘宝网的服务器能够访问复制的常用数据库，以便进行故障切换。该团队还部署了Veritas NetBackup，以进行集中的数据保护。通过将NetBackup与N8000和FileStore相集成，可以实现更快速、更便捷的备份。组合的解决方案具有高度可伸缩性，这是部署过程中的主要考虑因素之一。冯江解释说：“对于淘宝网来说，很难制定一个超过一年的完善计划，因为业务发展的速度太快了。因此集中管理和出色的可伸缩性对我们来说至关重要。内置了赛门铁克FileStore的华为赛门铁克N8000可以扩展到15PB，完全能够满足淘宝网一段时间内的需求。”赛门铁克FileStore中的一项重要功能是动态存储分层 （DST）,动态存储分层能够将数据动态移动到不同的存储层，以快速响应淘宝网不断变化的业务需求。经常使用的数据可以存储在第一层存储上，而不常用的数据则可以驻留在第二层或第三层存储上。[]Oceanspace N8000 Cluster NAS具体的架构可以参见[2]。图表 1 淘宝存储架构图[]淘宝海量数据产品技术架构[][]主站备库RAC主站日志数据源MyFOXProm存储层数据中间层 / glider查询层数据魔方淘宝指数开放API产品Hadoop集群 / 云梯计算层实时流数据DataX / DbSync / TimeTunnel1500节点，每日40000 JOB，处理数据1.5PB，凌晨2点结束，结果20T图表 2 总体架构MyFox 是分布式MySQL集群中间层，管理集群。关系型数据库仍然是王道 有成熟稳定的开源产品，SQL有较强的表达能力，只存储中间状态的数据，查询时过滤、计算、排序。分库分表、冷热分离 NoSQL是SQL的有益补充 用冗余避免网络传输和随机读 用中间层隔离前后端 异构数据源的整合 缓存是系统化的工程 数据一致性、穿透与雪崩 淘宝286亿海量图片存储与处理架构,淘宝文件系统（已开源）[]淘宝网商铺中的商品照片，尤其是热门商品，图片的访问流量其实是非常大的。而且对于卖家来说，图片远胜于