某天然气研究院2PB存储项目方案.pdf

                      西南油气田分公司天然气研究院存储项目 DDN 存储解决方案 – SFA12K‐20                     1 项目需求分析 1.1 概述 为了满足西南油气田分公司天然气研究院业务系统对存储性能和容量扩展 需求，DataDirect（DDN）凭借全球 HPC 及石油勘探领域的丰富经验为用户提 供基于 DDN SFA12K-20 高效能存储系统方案，搭配 GPFS 并行文件系统，满 足用户对大容量高带宽存储应用需求，它可以在业务需求改变时，线性地火独立 的扩展性能和容量，不仅能够降低横向扩容存储的复杂性，还能够通过移除存储 群集的延迟元素，以提高存储的响应性，以最大限度的灵活性，应对其大数据对 系统架构海量数据的规模和吞吐量需求。 1.2 高性能计算机集群存储系统的需求和特点： 高性能计算集群中在多个节点进行大规模并行计算的同时，需要进行大量文 件及数据访问，对系统的存储性能也提出非常高的要求，系统对存储系统要求主 要归结为以下几点： 全局统一命名空间 高性能集群相比较于其它应用而言，一个显著的特点是为了保证与集群中个 节点间具有一个统一的命名空间，也就是说在集群中任何一个节点，对一个文件 的读写、修改都会在其它节点生效，实现这一个功能，往往需要通过网络文件系 统来实现，比较常见的实现方式是 NFS。当前，由于集群规模的不断增大和对存 储访问性能的要求逐渐提高，并行文件系统在高性能集群中的使用也越来越广泛。 高性能 对于集群规模较大，或高 IO 应用的集群用户，由于对存储的访问量很大，     对共享存储的访问性能也提出了很高的要求。通常在硬件方面，可以通过提升存 储磁盘阵列的性能、存储介质的性能、存储阵列访问接口性能和 IO 节点网络性 能等，来提高整个共享存储的性能，而对于更高 IO 需求的系统，可以在软件层， 通过并行文件系统来实现海量文件高速并发读写。 高密度、大容量、可扩展性 由于高性能集群规模不断扩大、数据处理能力惊人、业务数据成倍增长，对 高性能存储容量需求也是非常惊人，在某些对海量存储需求的系统中，存储量往 往可达到 TB 级甚至 PB 级。高密度、大容量、可扩展性存储系统，在用户管理、 能耗、扩容性为用户提供了未来存储系统发展的最佳选择。 高可靠、高可用性 高性能集群承担着重要的业务和科研任务，用户的数据具有极高的价值，同 时，存储系统为全局系统，一旦出现故障，将导致整个系统不可用。所以在高性 能存储系统中，无论是 I／O 节点、存储交换机、还是存储磁盘阵列、存储介质 等，每个环节都要尽可能的保证高高可靠和高可用性。 2 存储系统方案设计 根据西南石油气勘探院存储需求，此次提供两套存储方案供客户选择： 方案一：DDN SFA12K-20 存储系统，依据 DDN SFA12K-20 产品为基础， 配置 8 台服务器，搭建 GPFS 文件系统提供用户存储服务。 方案二：DDN GS12K 存储系统，是 DDN 提供的基于 SFA12K-20 产品， 内置 GPFS、NSD