魔方-2超级计算机存储系统介绍.PDF

70 《高性能计算发展与应用》 2015年第三期 总第五十二期 魔方-2超级计算机存储系统介绍  薛刚 上海超级计算中心 上海 201203 gxue@ssc.net.cn 前言 每台oStor,后端为24块7200 RPM 4TB SATA磁盘， 随着近年来数据的爆炸性增长，PB规模级的存 共使用264块磁盘，总裸容量达1056TB。 储系统已经越来越常见。而在高性能计算领域中， ParaStor200存储系统通过56Gb IB网络实现互 90%以上的数据是非结构化数据。从目前来看，传统 联，并直联IB网络总交换机； 的SAN和NAS存储架构已经无法满足高性能计算对 oPara介绍：用于管理存储系统的所有索引数据 海量非结构化数据处理的密集型 I/O及海量并发访问 和命名空间，对外提供单一的全局映像，2台oPara以 的需求。 Active-Active模式工作，并提供相互冗余机制。 为解决传统存储架构成为高性能计算的性能 oPara配置：双路Intel Xeon E5-2620 v2处理器/64GB内 瓶颈，此次魔方-2超级计算机使用了基于对象集 存/56Gb IB网络； 群文件系统存储架构，曙光ParaStor200存储系统。 MGR介绍：两台管理控制器以 方 ParaStor200存储系统，打破了传统的存储软（文件系 式运行，提供统一的控制管理界面，管理员通过该 统）、硬（磁盘阵列）分离的模式，将后端磁盘与 节点管理整个存储系统； 分布式文件系统融为一体，提供面向文件级别的存 oStor介绍：用于提供数据存储空间，内嵌高性 储服务。 能数据存取引擎，并行处理所有客户端的数据访问 请求，支持以多个oStor节点间冗余方式进行数据保 1. ParaStor200存储系统的组成 护；oStor配置：双路 处理器 ParaStor200存储系统由2台索引控制器oPara、 /64GB内存/56Gb IB网络 2台管理控制器MGR、11台数据控制器oStor及客户端 oApp介绍 ：向应用提供符合POSIX语义数据访 驱动oApp组成。 问接口。 图1ParaStor200存储架构图 2. ParaStor200存储系统的特点 速、稳定、读写的需求。 ParaStor200是曙光公司自主开发的分布式并行 存储系统，采用多副本、N+M纠删码等数据保护技 2.1采用元数据和数据分离的结构 术、全冗余设计，支持单一存储命名空间、Scale-outParaStor200存储系统的元数据结构采用元数据和 扩展方式，满足高性能计算中心海量文件并发、高 数据分离的非对称式结构，这也是国际主流的并行 交流之窗 71 存储系统架构，元数据和数据分离有助于提升存储 N+M纠删码技术，ParaStor200存储系统可以实现数 系统的性能和扩