胜利油田存储系统架构研究剖析.ppt

胜利油田数据存储方案研究 目录 1、胜利油田数据存储现状 2、胜利油田数据存储研究及建议 3、存储设备（硬件）整合方案 4、存储系统（数据）整合方案 5、数据整合与数据网格 6、案例介绍 胜利油田数据存储系统现状 胜利油田数据存储系统现状 胜利油田数据存储系统现状 胜利油田数据存储系统现状 传统的数据管理模式 分散的数据，没有统一的数据管理及规划 不同的主机对于磁盘和磁带进行分别管理 每台机器对于自己的数据进行管理，通过网络进行共享 没有统一的标准，没有真正达到数据共享 落后的磁带管理 应用自己对于磁带进行管理 磁带数据和磁盘数据对于用户不是透明的 传统的磁盘管理 计算机管理自己的硬盘，通过NFS进行共享 由于没有统一的数据规划和管理，无从谈起数据存储系统的可扩展性 缺乏大文件系统及大文件的支持 数据存取效率低 没有数据的安全管理和集中完善的用户管理 胜利油田数据存储系统现状综述 传统的（落后的？）高性能计算数据存储方式 信息系统数据存储总体概念结构 理想的高性能计算环境的数据存储模型 统一的数据 并行、高效 可扩展性 大文件及大文件系统支持 大量的文件支持 集中的数据管理 用户管理 数据安全 文件存储服务架构 文件服务采用NAS的架构进行实现 磁盘存储空间采用磁盘虚拟存储池架构 胜利油田数据存储解决方案 存储及数据统一规划、管理 存储系统随需应变 存储网格 胜利油田数据存储解决方案 阶段一： 存储设备（硬件）的整合 采用先进的虚拟存储技术，构建完整的硬件存储平台，整合现有设备及未来的存储设备，使之达到硬件设备的统一管理、统一规划、统一使用。 构建随需应变的存储硬件平台 阶段二： 存储系统（数据）的整合 采用IBM先进的高性能存储解决方案HPSS，构建胜利油田统一的数据管理系统，统一管理磁盘、磁带的地震数据 构建随需应变的数据存储平台 第一阶段：存储设备整合（硬件） 采用采用先进的虚拟存储技术，构建完整的硬件存储平台，整合现有设备及未来的存储设备，使之达到硬件设备的统一管理、统一规划、统一使用。 构建随需应变的存储硬件平台 高效的存储系统 存储系统的可扩展性 良好的投资保护 设定访问优先级、提高性能 虚拟存储技术综述 虚拟存储（virtualization）技术，指的是将一个存储网络上多个异类的设备虚拟成一个单一的逻辑存储池，然后按需为服务器分配存储。它能帮助优化磁盘空间的利用率，强大的虚拟引擎提高存储性能，简化诸如远程镜像、备份、容灾和恢复等操作；并且通过有效的存储资源共享也能提高ROI（投资汇报率）；而通过将多个存储设备作为一个单设备来管理，则会降低管理成本。 建议胜利油田存储系统整合（硬件）架构图 虚拟存储解决方案纵览 IBM虚拟存储引擎支持基于SNIA（存储标准化组织）FC标准，支持各种异购存储、主机 提高存储性能价格比，大幅度提高性能，增加高级复制功能和容灾支持 数据在虚拟的存储空间自由分配 存储虚拟引擎功能 高端存储体系架构 vs. 虚拟引擎架构 存储基本要素比较 存储设备性能瓶颈点分析及虚拟引擎解决方案 存储访问时延分析（寻道、读写平均） 强大的线性的扩展和按需分配能力 增加I/O响应速度 单虚拟引擎支持最大64G的磁盘缓存 3到4倍（与当今最快的磁盘阵列相比） 提供服务质量保证 对不同的存储服务质量（响应速度、可靠性）要求，可分配不同的存储访问带宽 访问可以在不同的虚拟引擎之间分配 能够真正实现线性扩展 控制引擎、存储访问带宽、存储容量都能够按照需要任意扩展，不受物理设备自身限制制约 扩展是完全线性的，不会有配合损耗 提供存储访问优先级管理 开放标准和互连支持 对线路级访问透明操作 多协议支持 SCSI block allocation across IP and Fibre Chanel 物理位置无关 自动化管理功能：存储管理的革命 集中统一的存储卷管理操作 为主机创建、分派各种虚拟的磁盘（LUN） 使动态、在线修改大小、重新分布数据成为可能 物理磁盘碎片空间的回收再利用 自动的卷管理功能 最大可以管理、划分到2T容量的虚拟卷 可以按照 只有当主机访问此存储块的时候才分配物理存储块 动态调整存储空间，以满足应用的需要 可以设置虚拟存储的高限、低限来自动划分、回收物理存储空间 自动操作，无需管理人员介入 大幅度提高磁盘空间的利用效率 自动化管理功能 恰好分配所需要的物理空间 对虚拟存储池的集中管理 业务连续性支持 廉价的容灾、高可靠性支持 跨越物理存储设备界限 支持IP网络 对于服务器数据、前台客户机数据都可以提供保护 虚拟化存储方案的优势 消除各种服务器、存储之间的互连接口和配合问题 仅仅分配给服务器现在需要的空间，无需预留 当有新的空间需求，可以自动从存储池中分配（可