对象存储的架构.pptx

回顾;对象存储的基本概念;对象存储系统逻辑结构;;;对象存储结构的优势;对象存储的应用场景;对象存储的基本架构;;;存储系统的类型;存储系统类型的特点;高可靠性;对象：数据+元数据+属性;对象：数据+元数据+属性;;2007年RackSpaceCloudFilesV1

分布式存储

元数据集中

2009年RackSpaceCloudFilesV2

完全重新设计

分布式存储和分布式元数据

2010年7月贡献给了OpenStack社区

是OpenStack最初的两个项目之一;Swift是一个高可用、分布式、最终一致性的对象存储系统，使用通用服务器构建;数据最终一致的设计思想

没有得到全部副本写成功之前就给用户返回结果

极高的数据持久性

? 99.999999999%

高并发

无共享结构（Share-nothing）

完全对称的系统结构

无单点故障

硬件设备要求低

使用常用服务器搭;Swift的主要概念;Swift逻辑结构;Swift物理结构;Swift对象元数据的处理;;;?代理服务器（ProxyServer)

是Swift存储系统对外的接口

负责把用户请求分发给合适的存储服务器

?存储服务器（StorageServer）

负责存放实际的数据

为整个存储集群提供磁盘存储空间

?认证服务器（AuthServer）

负责对用户进行认证

通过认证后，发给用户一个令牌;?是Swift存储系统对外的接口

?运行着swift-proxy-server进程，负责把用户请

求分发给合适的存储服务器

?也负责把请求结果返回给用户;?账号存储服务器

存放着该账号所拥有的所有容器的信息

没有容器存放地址信息

?容器存储服务器

存放着该容器里的所有对象的信息

没有对象存储地址的信息

?对象存储服务器

负责存储对象的数据及元数据;;?Swift把存储服务器的存储空间分成许多个小的存储空间，称为虚节点（Partition)

?每个虚节点可以用来存放对象、容器、账号

?虚节点作为Swift的一个基本管理单位

?一个虚节点中可以存放许多个对象;?环用来确定实体驻留在集群中的位置

?账号、容器和单个对象在集群中的位置都是通过环

来确定的

?账号、容器、对象各有自己的环;?简单来讲，环就是一个Hash函数

?Hash1（account_id)=account所在的虚节点地址

?Hash2（container_id)=container所在的虚节点地址

?Hash3（object_id)=object所在的虚节点地址;;;;对象Ring;;账号Ring;;Swift的可靠性机制;多副本（Replication）;;;?虚节点的不同副本尽量存放在不同的可用区域内

?如果一个可用区域出现故障，在该区域的所有副本都会迁移到别的区域;多副本写入;单副本读出;多副本读出;那么谁来完成这些任务呢？;Swift的详细架构;对象服务器;容器服务器;?负责处理对account操作请求的服务进程

?使用sqlite的数据库文件保存account的相关信息

AccountID，创建时间，容器个数，对象个数，使用空间

字节数，数据库的Hash值

container：ID，最后操作的时间，容器大小;对象审计器;对象审计器;对象更新器;对象复制器;对象复制器;容器/帐号审计器;?这两个进程运行在storagenode中负责分别负责

account的db文件，container的db文件在集群中副本的同步

?容器和帐号的复制使用哈希值和共享的高水位线的组合进行版本比较

?帐号和容器的复制通过rsync来推送整个数据库文件

上丢失的记录;?这个进程运行在storagenode中负责account数据库的异步更新

?使用异步更新的原因：在请求来量大时account-

server不能实时处理对数据库更新的请求，这些请求将被本地化到队列中，由updater进程进行异步更新。;PROXYSerVER单节点故障问题;;Swift横向扩展能力;;Swift系统总结;Swift的详细架构;Swift服务流程;上传;下载;