分布式对象存储技术和应用.pptVIP

分布式 CAP理论： · C: Consistency 一致性 · A: Availability 可用性(指的是快速获取数据) · P: Tolerance of network Partition 分区容忍性(分布式) CAP原理告诉我们，这三个因素最多只能满足两个，不可能三者兼顾。对于分布式存储系统而言，分区容忍性是基本需求，因此只有CP和AP两种选择。CP模式保证分布在网络上不同节点数据的一致性，但对可用性支持不足;AP模式主要实现”最终一致性”来确保可用性和分区容忍性，但弱化了一致性需求。分布式存储系统，它们的基本实现都是非结构化P2P存储系统，通过一个服务器充当索引服务器，然后节点之间相互通信。 对象存储 基本存储单元 名字空间：对象ID 数据 元数据 元数据类似于inode，描述了对象在磁盘上的块分布 属性 根据需要而定义 E.g. 多媒体对象的延迟和吞吐请求 对象存储设备（OSD） 对象是数据存储的基本单元 提供类似文件的访问接口 Seagate OSD设备 CPU+磁盘+NIC 总结：关于分布式对象存储 对象存储是一个分布式系统，对象特别适用于那些需要无限规模的应用 对象存储技术非常适用于PB级存储应用，尤其是视频和影像对象的存储 。 对象存储可以完成文件系统存储所无法完成的工作。它可以用来储存大量非结构化数据，而那正是当今世界上需要储存的大多数数据（在未来的十年里，需要储存的数据数量将增加50倍，模块存储系统根本无法储存那么多的数据 ） 分布式文件系统是实现非结构化数据存储的主要技术，说到分布式文件系统就不得不提GFS（Google File System） ，以及HDFS（Hadoop Distributed File System） 产生的背景 数据存储在多个可能出故障的普通PC机集群上 和传统文件系统相比文件很大(GB级别) 多数文件在写操作时为追加内容而不是重写 主要负担为文件持续或随机读取,同步写,连续写等 功能特性 可扩展的分布式文件系统 用于访问大量数据的大型应用 高效运行在廉价硬件的集群上 容错: 集群中的机器可热拔插 * * 请领导指示！ * 1、RootObject 存储设备都包含一个惟一的RootObject。此Object中包含了存储设备的全局属性，包括GroupObject数目、UserObject数目、服务特性等，由存储设备负责维护 2、GroupObject 对UserObject进行管理，其中包括了一个UserObject列表、最大可用的UserObject数目、当前Group的容量等 GroupObject的默认属性从RootObject中继承而来，所包含的数据是当前可使用的ObjectID。 3、UserObject 存放具体数据的Object类型，每个UserObject都包括用户数据、存储属性和用户属性。 UserObject中的用户数据同传统存储系统中的文件数据是相同的。 存储属性则用来决定Object在磁盘上的块分布，包括逻辑长度、ObjectID等。 用户属性则定义了包括Object拥有者、访问控制列表等属性信息 * 配色参考方案： 以下为三组配色方案。（仅供参考） * * * 分布式对象存储技术和应用 2011.10 研究总体思路 分布式对象技术解析 支撑云相关工作汇报 公众服务云相关工作汇报 下一步工作建议 目录 研究思路概述 What：首先搞清楚是什么 分布式存储、对象存储技术核心实质 Why ：然后追寻为什么 技术产生原因背景，旨在解决何种问题 How ：最后落实怎么做 技术架构、技术方案，以及具体应用案例； 研究总体思路 分布式对象存储技术解析 支撑云相关工作汇报 公众服务云相关工作汇报 下一步工作建议 目录 对象 谈到“面向对象”这个词，人们一定会马上联想到计算机程序设计中的面向对象，在编程中它的本质是把数据和处理数据的过程当成一个整体——对象；而我们今天要谈的面向对象存储技术，本质上也是把待处理的数据当成一个整体——对象，但是却不能把它等同于前者。 每个Object是数据和数据属性集的综合体。数据属性可以根据应用的需求进行设置，包括数据分布、服务质量等。在传统的存储中，块设备要记录每个存储数据块在设备上的位置。Object维护自己的属性，从而简化了存储系统的管理任务，增加了灵活性。Object的大小可以不同，可以包含整个数据结构，如文件、数据库表项等。 因此，对象是数据存储的基本单元 因此，对象存储就是实现对象具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系，是块和文件之外的存储形式