Hadoop开源软件与云计算 查礼.pdfVIP

Hadoop开源软件与云计算 查礼（char@ ） 中科院计算所 2010.10.11 内容提要 1 大规模数据处理研究背景 2 大规模数据处理开源软件Hadoop 3 分布式数据存储计算相关研究@ICT 内容提要 1 大规模数据处理研究背景 2 大规模数据处理开源软件Hadoop 3 分布式数据存储计算相关研究@ICT 研究背景  云计算的外延主要是大规模数据处理和基础设施弹性管理及租约式供 应  通信、网络、存储、传感器等电子信息技术飞速发展导致数据规模极 大增加  传统的存储并处理这些数据的技术手段遇到瓶颈 Processing 100TB datasets One node Scanning@50MB/s = 35,000 min 1000 node Scanning@50MB/s=35 min Search Engine Data Warehousing Log Processing User Behavior Analyzing MapReduce并行编程模型 Dean Ghemawat: “MapReduce: Simplified Data Processing on Large Clusters”, OSDI 2004    Reduce k k k r 1 1 Key-Value Pairs M M M    M Map x x x x 1 2 3 n  Map并行处理大规模数据集 • E.g., 1010 Internet web pages  Reduce对处理结果进行聚集 系统处理资源分配和可靠性问题 MapReduce示例 Dean Ghemawat: “MapReduce: Simplified Data 3 4 3 Processing on Large Clusters”, OSDI 2004 look spot    go Sum    spot, 1