高性能科学计算与系统仿真平台-青岛海洋科学与技术国家试验室.PDFVIP

高性能科学计算与系统仿真平台高性能计算集群系统采购项目普通用户使用手册 高性能科学计算与系统仿真平台 普通用户手册 青岛科学与技术国家实验室 2016 年 12 月 目录 1.集群简介 3 2.系统软件环境 3 -1- 高性能科学计算与系统仿真平台高性能计算集群系统采购项目普通用户使用手册 3.数学库 4 4.集群节点设置说明 4 5.登录集群 5 6.修改账号密码 5 7.mpirun 运行 7 8.上传文件到集群 8 9.pbs 系统队列划分 10 10.通过 pbs 脚本提交作业 10 11. PBS 常用命令 12 12. 集群应用软件 15 13. 注意事项 17 附录：Linux 基本命令 18 -2- 高性能科学计算与系统仿真平台高性能计算集群系统采购项目普通用户使用手册 1.集群简介 该超算中心由青岛海洋科学与技术国家实验室建立，系统峰值性能超四百万亿次。青岛海 洋科学与技术国家实验室（以下简称“海洋国家实验室”）于 2013 年 12 月获得科技部正式批 复，由国家部委、山东省、青岛市共同建设，定位于围绕国家海洋发展战略，开展基础研究和 前沿技术研究，依托青岛、服务全国、面向世界建设国际一流的综合性海洋科技研究中心和开 放式协同创新平台，汇聚创新资源和创新团队开展原创性研究，提升我国海洋科学与技术自主 创新能力，引领我国海洋科学与技术的发展。 该超算中心旨在满足实验室科研需求，为海洋科教科研领域的发展提供助力。建立面向全 实验室的公共计算平台，集中管理和运行主要的商用软件、开源软件和自主研发软件，能够支 持千核以上应用及大内存、大存储应用，对推动海洋专业相关科学研究、满足实验室大数据及 高性能计算的需求等方面产生促进作用。 集群采用 CPU 的同构计算架构，共 600 个双路刀片计算节点，总体计算峰值高达 420 万亿 次。每个刀片计算节点配备两颗主频为 2.6GHz 的 Intel Xeon E5-2690v3 12 核处理器、128GB DDR4 内存，管理网络采用的是以太万兆交换网络加千兆交换机级联架构，并行数据交互采用 是的 Intel 100GB Omni-Path 网络。 集群的存储系统上层采用 lustre 分布式文件系统、下层采用 DDN 存储共计 768 块硬盘组 成，可用空间达到 3.3P。该文件系统的高可用、高性能的特点满足了整体平台的存储需求。 整个超算系统采用 Cluster Engine 和天眼特征分析软件，有效提升作业提交效率，简化集群 管理应用难度。 2.系统软件环境 计算节点和管理登录节点的操作系统均为 64 位 RHEL 7.2，提供标准的 64 位 Linux 操作系 统环境，用户需要熟悉一些基本的 Linux 命令行操作，并能熟练使用一种编辑器，如 vi 编译器。 -3- 高性能科学计算与系统仿真平台高性能计算集群系统采购项目普通用户使用手册 大规模超级计算系统，为了有效利用众多处理器核心所提供的计算能力，需要有一个作业 管理系统，统一地跟用户交互，接收提交的各类计算任务，合理分配计算资源，将用户作业指 派到具体的节点执行，对用户来说，不需要关心计算具体在哪里进行的，系统会自动按照最优 化原则进行调度，这不仅方便了用户的使用，更提高了整个系统的利用率。集群采用的是tsce 管理套件，可以有效的提高集群利用率。 集群支持 OpenMP 和 MPI 两种并行方式，OpenMP 为共享内存方式，仅能在一个计算节点 内并行，MPI 是分布式内存并行，可以在一个或多个节点上执行作业。集群已安装 intel 编译 器，方面用户调用标准化数学库。 3.数学库 开放源代码程序往往要调用大量的数学函数进行各种计算，经过长期积累，已经有一些比 较成熟的标准化数学库，其中最常见的诸如线性代数方面的 BLAS、LAPACK 等。集群已