高效存储技术研究,云计算的基础.docxVIP

高效存储技术研究，云计算的基础，今年我读到的最好的论文之一了，分享给大家【转载】2010-12-15 22:06?|?(分类:计算机)高效存储技术研究1?引言物质、能量和信息是自然科学研究的三个基本对象，处理、传输和存储是信息计算的三大基本任务。随着信息化技术水平的不断提高，数据已经取代计算成为了信息计算的中心，数据将成为企业最终有价值的财富。1998年图灵奖获得者Jim Gray曾断言：现在每18个月新增的存储量等于有史以来存储量之和。根据预测，2020年数据宇宙将达到35.2 ZB（1 ZB = 1百万PB），比2009的0.8ZB增加44倍。在如此强大的实际需求推动下，人们不断追求海量存储容量、高性能、高安全性、高可用性、可扩展性、可管理性等特性，对存储的需求不断提高。信息量呈现爆炸式增长趋势，使得存储已经成为急需提高的瓶颈。面对数据量的急剧膨胀，企业需要不断购置大量的存储设备来应对不断增长的存储需求。权威调查机构的研究表明，目前世界大公司的年度存储需求增长率为100%。然而，这似乎并不能从根本解决问题。首先，存储设备的采购预算越来越高，大多数企业难以承受如此巨大的开支。其次，随着数据中心的扩大，存储管理成本、占用空间、制冷能力、能耗等也都变得越来越严重，其中能耗尤为突出。在美国，数据中心大约消耗掉2%总电量，每年电费开销高达40亿美元。Gartner曾预测，2009年全世界将会有一半以上的数据中心电力供应不足。Emerson的调研则显示2011年96%的数据中心将缺乏电力，美国许多企业的数据中心被迫迁至其它电力供应充足的地方。再者，大量的异构物理存储资源大大增加了存储管理的复杂性，容易造成存储资源浪费和利用效率不高。研究发现，企业的存储利用率往往不足50%，存储投资回报率水平较低。因此，我们需要另辟蹊径来解决信息的急剧增长问题。高效存储理念正是为此而提出的，它旨在缓解存储系统的空间增长问题，缩减数据占用空间，简化存储管理，最大程度地利用已有资源，降低成本。2?何谓高效存储？高效存储目前还没有统一的定义，各个存储厂商分别有各自的定义和诠释，但目标是基本一致的，即提高存储利用效率、简化存储管理、降低存储能耗，从而获得较低的总持有成本和运营成本。高效存储的关键是平衡，需要在存储成本、商业价值以及运营风险之间作好平衡。从现有的高效存储技术和存储产品来看，高效存储的基本策略主要有存储资源整合、动态存储容量配置、缩减存储容量、信息生命周期管理和降低能耗，高效存储技术基于这五种基本策略来实现高效的存储。SNIA GSI（Green Storage Initiative）针对绿色存储给出了四种基本策略：提高设备能耗效率、使用更少的冗余、提供更少的空间、存储更多的数据，相应的高效存储技术和管理策略概览如表1所示。表1　高效存储技术和管理策略概览NO.高效存储技术简要说明1Mange Your Data减少冗余数据副本，减缓数据增长率；根据数据价值和SLA定制数据管理和保护策略，降低总成本2Select the Appropriate Storage RAID Level根据数据价值和SLA选择合适的RAID级别，结合其他高效存储技术来减少存储量和能耗3Leverage Storage Virtualization将分散物理存储资源整合成虚拟的存储资源池，最大化存储利用率，减缓存储需求4Use Data Compression有效减小数据通信量和存储量，同是产生一定的性能负载，有些数据压缩有限，操作顺序影响压缩效果5Incorporate Data Deduplication删除块级冗余数据，减小存储量6File Deduplication删除文件级冗余数据，减小存储量7Thin Provisioning of Storage to Servers自动精减配置在满足存储需求的同时按需分配存储，最小化存储需求8Leverage Resizeable Volumes根据需要动态调整数据卷大小，提高存储利用率，减小存储需求9Writeable Snapshot减少测试、仿真、建模等应用的存储空间需求10Deploy Tired Storage根据数据价值和访问频度自动在不同存储层次之间流动，降低成本11Solid State StorageSSD具有高性能、低能耗的特点，但成本高、写抖动、使用寿命短等问题12MAID and Slow-Spin Disk Technology将空闲磁盘转换成非活动或低速旋转模式，可有效节省能耗13Tape Subsystem容量大、存储有效期长、无能耗，磁带仍是数据长期归档的最佳选择14Fabric Design网络设计影响能耗和冷却系统15File System Virtualization管理物理分布的数据