21-存储解决方案-科研院所.docx

科研院所高性能计算存储解决方案高性能计算系统后端存储现状与挑战随着多核处理器的发展，建造一个具备较大计算能力的高性能计算系统已经变成一件比较容易的事情。但是，作为存储系统的基础元件：磁盘，仍然没有本质的改变，其性能和计算能力的不匹配日益突出。常见的高性能计算中心通常都是以项目为单位进行建设，陆续形成分散独立的存储系统。而理想的高性能计算中心需要统一构建横向可扩展高性能HPC存储池。这里的包括以下方面： - 统一路径 - 并行读写 - 模块扩展 - 集成管理构建一个按需扩展的高性能计算后端存储不能仅仅依赖于硬件设备，还需要考虑以下内容：高性能与大容量支持尽量减少非计算工作消耗的时间，如数据写入与读取时间；某些行业如生物，能源的高性能计算应用会产生数十TB至数百TB级别数据；节能减少机房空间占地；长期保存数据考虑引入绿色的磁带，低功耗大容量，减少磁盘转轴；能耗管理和优化技术。解决方案1IBM推荐采用GPFS与DCS3700 结合的HPC定制化存储解决方案。示意图如下：借助GPFS集群文件系统与DCS3700高密度高性能外置存储，用户可根据实际容量与带宽要求定制高性价比的HPC后端存储池。GPFS – IBM 的高度可扩展和高性能文件管理系统，单文件系统可扩展至2PB，读写带宽高达134GB/s。GPFS I/O服务器集群节点可选配infiniband HBA与计算节点实现高带宽低延迟连接。解决方案2方案2：IBM推荐采用SONASHPC云存储解决方案。示意图如下：SONAS横向扩展NAS可直接接入用户内部IP网络，提供NFS、CIFS、FTP、HTTPS等多种文件共享访问。SONAS 云存储在HPC应用中的优势如下：第3代云存储（文件云存储）并行结构，模块化设计，工厂集成，安装配置简单超高速性能实测性能最高可到105GB/s的吞吐率每节点高达每分钟1千万的文件扫描速度海量存储空间最大可到21.6PB裸容量单一空间可超过4PB极高的扩展性从2个节点到30个节点，性能轻松扩展从27TB到21.6PB，容量轻松扩展全面的虚拟化容量属于整个系统，所有节点均可访问所有存储介质全局虚拟服务实现用户文件的随处访问，随时在线自动分层存储轻松实现数据在SSD固态盘、SAS快盘、SATA大容量盘和Tape磁带之间的在线迁移，而且对用户完全透明