对象存储系统.pptVIP

对象存储系统Object-Based Storage System 聂铁铮 对象存储系统概念 分布式存储架构 分布式存储分为：文件存储、块存储和对象存储 客户端 元数据服务器 数据节点服务器 1 2 3 4 分布式存储架构-块存储 块存储 主要是将裸磁盘空间整个映射给主机使用的 操作系统还需要对挂载的裸硬盘进行分区、格式化后，才能使用 典型设备：磁盘阵列，硬盘 优点： 提高容量 并行写入性能好 使用SAN架构 缺点： 设备成本高 主机之间无法共享数据 分布式存储架构-块存储 分布式存储架构-块存储 分布式存储架构-块存储 分布式存储架构-块存储 分布式存储架构-块存储 分布式存储架构-文件存储 文件存储 采用NFS或CIFS命令集访问数据，以文件为传输协议，通过TCP/IP实现网络化存储 典型设备：FTP、NFS服务器，SamBa 分布式存储架构-文件存储 分布式文件系统 分布式存储架构-文件存储 分布式存储架构-文件存储 分布式存储架构-文件存储 分布式存储架构-文件存储 分布式存储架构-对象存储 对象存储： 目标：为海量非结构化数据提供Key-Value这种通过键值查找数据文件的存储模式，提供基于对象的访问接口。 对象存储（Object-Based Storage, OBS)综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的分布式数据共享等优势，提供了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。 分布式存储架构-对象存储 技术特点 访问接口简单，提供REST/SOAP接口 协议开销高、相应延迟较文件存储长 引入对象元数据描述对象特征 应用系统跟存储系统的耦合程度松散 支持一次写多次读 缺点： 平台稳定性 技术复杂 性能优越，读写快，利于共享 扩展性好，解决非结构化增长 成本低廉 对象存储组件 对象 对象存储设备 元数据服务器 文件系统 网络连接 对象存储组件-对象 对象 对象是介于文件和块之间的一种抽象，具有唯一的ID标识符，提供类似文件的访问方法。 对象是系统中数据存储的基本单位，是一系列有序字节的集合，一个对象实际上就是文件的数据和一组自身属性信息（Meta Data）的组合，这些属性信息可以定义基于文件的RAID参数、数据分布和服务质量等 对象维护自己的属性，简化存储系统的管理任务，增加灵活性 对象大小可以不同，分为：根对象、组对象和用户对象。 对象存储组件-对象 对象存储组件-OSD 对象存储设备OSD 对象存储设备具有一定的智能，它有自己的CPU、内存、网络和磁盘系统。 OSD同块设备的不同不在于存储介质，而在于两者提供的访问接口。 OSD的主要功能包括数据存储和安全访问。 每个对象同传统的文件相似，使用同文件类似的访问接口，但两者并不相同，每个对象可能包括若干个文件，也可能是文件的一部分，且是独立于操作系统的。 OSD记录了每个对象的属性信息，主要是物理视图信息，从而减轻了元数据服务器的负担，增强了并行访问性能和可扩展性 对象存储组件-OSD 对象存储设备OSD 数据存储 OSD管理对象数据，并将它们放置在标准的磁盘系统上，OSD不提供块接口访问方式，Client请求数据时用对象ID、偏移进行数据读写 智能分布 OSD用其自身的CPU和内存优化数据分布，并支持数据的预取。由于OSD可以智能地支持对象的预取，从而可以优化磁盘的性能 对象元数据管理 OSD管理存储在其上对象的元数据，该元数据与传统的inode元数据相似，通常包括对象的数据块和对象的长度 对象存储组件-OSD 对象存储组件-文件系统 文件系统 对用户的文件操作进行解释，并在元数据服务器和OSD间通信，完成所请求的操作 使用标准POSIX文件访问接口 使用Cache 功能和文件条带功能提高性能 维护不同客户端上Cache的一致性 对象存储组件-文件系统 对象存储组件-元数据服务器 元数据服务器 为客户端提供元数据，主要是文件的逻辑视图，包括 文件与目录的组织关系 文件对应的OSD 每次操作仅有一次元数据访问，具体数据传输由OSD和客户端直接进行。 传统文件系统每次对数据块操作都要获取元数据 对象存储组件-元数据服务器 特点 客户端采用cache缓存数据 当多个客户端同时访问某些数据时，MDS提供分布的锁机制来确保Cache的一致性 为客户端提供认证 为了增强安全性，MDS为客户端提供认证方式，OSD将依据MDS的认证来决定是否为客户端提供服务 对象存储模式的优势 海量数据存储 高性能数据存储：节点具有独立数据通路和元数据访问通路，支持OSD并行访问 跨平台数据共享：在对象存储系统上部署基于对象的分布式文件系统实现不同平台下的设备和数据共享 可伸缩性：对象存储模式具有分布式结构特征。 对象存储适用场景 基于对象存储的虚