Hadoop刘鹏云计算划时代的技术幻灯片.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * 比利时平均每年只有7天气温不符合免费冷却系统的要求 微软芝加哥数据中心 * * * * * * * * * * * * * * * * * * * NSF TeraGrid Review January 10, 2006 Charlie Catlett (cec@) * * NSF已投资2.460亿美元 自2004年10月已处于生产运行阶段，目前已用高性能网络集成了每秒750万亿次计算能力、30PB存储空间和100多个学科的数据库资源。 * * * * * * * * * * * * 网络 vs. 计算机性能 处理器速度每18个月翻一番 存储密度 每12个月翻一番 网络速度 每9个月翻一番 1986 to 2000 计算机: x 500 网络: x 340,000 2001 to 2010 计算机: x 60 网络: x 4000 光速每秒30万公里，30公里*80亿/3600＝6600万公里/秒，是光速的200倍以上。 * * * * 2009年1月发布 * * * * * * * * * * 数亿张照片，几十万付费用户，维持这样规模的公司需要多少人呢？50人。 * * * Enter Title of Presentation Here Google Confidential * Gloud环境 服务目录和管理设施 高性能计算设施 存储服务 Web 应用服务 高性能计算服务 企业管理服务 电子商务服务 数据管理服务 协作服务 数据处理服务 语义理解服务 数据中心设施 云计算与网格计算将走向融合 内 容 提 纲 上海视频网格 电子商务网格 校园网格 反垃圾邮件网格 网格计算国际研讨会 磁盘矩阵海量存储器RAID-M RAID-M获2002 PennySort冠军 MassCloud云存储系统 超低功耗云存储节点 MassCloud特点 超低成本 超低能耗 超高可靠 超高性能 高可伸缩 使用简单 云计算中国论坛 中国互联网大会 物联网+云计算?节能减排 汇聚楼宇里成千上万个传感器数据，用云计算平台进行存储、处理和控制，实现提高能源使用效率的目标 Skypiea云计算能源管控平台 Skypiea体系结构 数据汇聚设备 云计算能源管理平台 云计算能源管理平台 云计算能源管理平台 书籍出版 刘鹏 gloud@126.com 中国云计算： 中国网格： * * * * 《纽约时报》 使用亚马逊云计算服务在不到24个小时的时间里处理了1100万篇文章 累计花费240美元 如果用自己的服务器，需要数月和多得多的费用 Google云计算关键技术 Google文件系统GFS(Google File System) 并行数据处理MapReduce 结构化数据表BigTable 分布式锁管理Chubby MapReduce BigTable GFS Chubby Google文件系统(GFS) Google48% MSN19% Yahoo33% 客户端 客户端 客户端 互为备份 管理节点 GFS主节点 GFS主节点 C0 C1 C2 C5 数据结点1 C0 C2 C5 数据结点N C1 C5 数据结点2 … 客户端 客户端 客户端 客户端 客户端 客户端 C1 Microsoft Azure 服务平台 云计算的核心理念 云计算最核心的思想 在一堆烂机器上提供可靠的服务 判断是不是云计算的三条标准 用户使用的资源不在客户端而在网络中。 1 服务能力具有优于分钟级的可伸缩性。 2 五倍以上的性价比提升。 3 网格计算与云计算的比较 全球企业IT开销 Source: IBM Corporate Strategy analysis of IDC data, Sept. 2007 $0B 50 100 150 200 250 300 1996 1997 1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 New Server Spending Server Mgt and Admin Costs Power and Cooling Costs 数据中心的规模经济性 项目 中型数据中心成本 特大型数据中心成本 比率 网络 $95 每 Mb/秒/月 $13 每 Mb/秒/月 7.1 存储 $2.20 每 GB/月 $0.40 每 GB/月 5.7 管理 每个管理员约管理140个服务器 每个管理员管理1000个服务器以上 7.1 不同地区电力价格 价格 地点 可能的定价原因 3.6美分 爱达荷州 水力