对象存储介绍.docx

对象存储介绍对象存储系统（Object-BasedStorage System）是综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的数据共享等优势，提供了高可用性、跨平台性及安全性的数据共享的存储体系结构。Object是对象存储的基本单元。每个Object都是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储中，块设备要记录每个存储数据块在设备上的位置。Object维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。Object的大小可以不同，可以包含整个数据结构，如文件、数据库表项等。1．对象存储的产生随着互联网、Web 2.0的快速发展，Web应用创建出数百亿的小文件；人们上传海量的照片、视频、音乐，Facebook每天都新增数十亿条内容，人们每天发送数千亿封电子邮件。据IDC统计，未来10年间，数据将增长44倍，到2020年全球数据将增加到35ZB，其中80%是非结构化数据，且大部分是非活跃数据。面对如此庞大的数据量，仅具备PB级扩展能力的块存储（SAN）和文件存储（NAS）显得有些无能为力。单个文件系统在最优性能的情况下支持的文件数量通常只在百万级别。人们需要一种全新架构的存储系统，这种存储系统需要具备极高的可扩展性，能够满足人们对存储容量从TB到EB规模的扩展需求。2002年，安然、世界通信等事件的接连爆发导致萨班斯法案推出，对象存储被用于政府法规要求数据长期保存金融服务、健康医疗等行业的数据归档场景，对象存储由此具备了备份归档的基因。2006年，Amazon发布AWS，S3服务及其使用的REST、SOAP访问接口成为对象存储的事实标准。Amazon S3成功为对象存储注入云服务基因。2．对象存储的关键特性与价值对象存储是一种基于对象的存储设备，具备智能、自我管理能力，通过Web服务协议（如REST、SOAP）实现对象的读/写和存储资源的访问。对象存储系统包含两种数据描述：容器（Bucket）和对象（Object）。容器和对象都有一个全局唯一的ID。对象存储采用扁平化结构管理所有数据，用户/应用通过接入码（Access Key）认证后，只需根据ID就可以访问容器/对象及相关的数据（Data）、元数据（Metadata）和对象属性（Attribute）。对象存储数据组织示意图如图10.3所示。对象存储对外提供更抽象的对象接口，而不是SCSI或文件接口。与SAN存储以逻辑扇区为单位的较细粒度的固定I/O（512B～4KB）不同，对象存储I/O粒度更有弹性，支持几个字节（B）到数万亿字节（TB）范围内的任意对象大小，使得业务可以根据需要灵活地分割数据。对象存储以对象ID为基础，扁平化地管理所有对象和桶，根据对象ID便可直接访问数据，解决了NAS复杂的目录树结构在海量数据情况下的数据查找耗时长的问题。这使得对象存储具备极强的扩展性，能够轻松实现单一名字空间（namespace）内支持百亿级文件的存储。图10.3在重复数据删除、绿色节能等特性的基础上，为了更好地满足海量数据存储和公众云服务的需求，对象存储系统还包括如下一些关键特性：（1）超强的扩展性。扁平化的数据结构允许对象存储容量从TB级扩展到EB级，管理数十个到百亿个存储对象，支持从数字节（Byte）到数万亿字节（TB）范围内的任意大小对象，解决了文件系统复杂的iNode机制带来的扩展性瓶颈，并使得对象存储无须像SAN存储那样管理数量庞大的逻辑单元号（LUN）。对象存储系统通常在一个横向扩展（或网格硬件）架构上构建一个全局的命名空间，这使得对象存储非常适用在云计算环境中使用。某些对象存储系统还可以支持升级、扩容过程中的业务零中断。（2）基于策略的自动化管理。由于云环境中的数据往往是动态、快速增长的，所以基于策略的自动化将变得非常重要。对象存储支持从应用角度基于业务需求设置对象/容器的属性（元数据）策略，如数据保护级别、保留期限、合规状况、远程复制的份数等。这使得对象存储具备云的自服务特征，同时有效地降低运维管理的成本，使得客户在存储容量从TB增长到ZB时运维管理成本不会随之飙升。（3）多租户。多租户特性可以使用同一种架构、同一套系统为不同用户和应用提供存储服务，并分别为这些用户和应用设置数据保护、数据存储策略，并确保这些数据之间相互隔离。（4）数据完整性和安全性。对象存储系统一般通过连续后台数据扫描、数据完整性校验、自动化对象修复等技术，大大提高数据的完整性和安全性。某些对象存储产品还引入了一些先进的算法（如擦除码）和技术将数据切分为多个分片，然后将这些分片存储到不同的设备/站点，在确保数据完整性的同时获取最高的存储利用率。3．对象存储的主要应用场景对象存储系统的出现主要是为了满足数据归档和云服务两