JS21 Voltair4 InfiniBand测试报告分析和总结.docx

JS21Voltaire4XInfiniBand

解决方案测试报告

测试概述 2..

1.1. 测试目标2..

1.2. 测试环境2..

1.2.1. 拓扑结构2..

1.2.2. 详细配置3..

刀片和刀片中心环境配置 3.

操作系统安装及配置 3.

2. 测试过程3..

2.1. 驱动程序GridStack编译与安装 4.

2.2. MVAPICH2的编译4..

InfiniBand性能测试 4.

MVPICH2运行库编译测试 6.

编译LinkPack测试（MPIF77） 6.

测试编译f90程序 7.

3. 结果验证7..

4. 结论7..

5. 测试人签名7..

第1页共7页

第

第PAGE2页共7页

测试概述

测试目标

本测试目的是测试Voltair4XInifiniBand在JS21平台上的可用性，其中主要的测试方面包括：

HCA卡的驱动的安装

硬件管理功能测试

IPoIB功能测试

IPoIB基本性能测试

MPI库编译

编译并行程序测试

Linkpack测试

测试环境

测试使用了2片JS21+4xVoltaireInfiniBandHCA做为硬件测试平台。

拓扑结构

网络拓扑图如下所示：

10GBInfiniBand网络千兆以太网络

图表1网络拓扑图

硬件平台网络配置

硬件平台

网络配置

操作系统

应用软件

IBMJS21刀片服务器1

eth0：

36

SLES9SP3

OFED

4核2.5GHz,4GB内存，1块SAS

73GB硬盘

ib0：

RedHat4U4

MVPICH2CPMD

Linkpack

IBMJS21刀片服务器2

eth0:

37

SLES9SP3

4核2.5GHz,4GB内存，1块SAS

73GB硬盘

ib0:

RedHat4U4

表格1硬件详细配置表

刀片和刀片中心环境配置

刀片中心与刀片的硬件配置为默认状态。以太网络交换机与InfiniBand交换机也均为默认配置。

操作系统安装及配置

操作系统均为完全安装的SLES9sp3Linux系统。同时还需要另外下载安装以下一些rpm包：pciutils-devel-2.2.1-16.2.rpm

(可用安装光盘安装)sysfsutils-64bit-1.3.0-14.rpm

/linux/opensuse/distribution/SL-10.1/inst-source/suse/ppc/sysfsutils-64bit-1.3.0-14.ppc.rpm

在Redhat中sysfsutils-64bit库需要自己编译。参照如下方法

下载

下载sysfsutils-src-1.2.0-1.rpm

解压rpm2cpiosysfsutils-src-1.2.0-1.rpm|cpio–div

//编辑sysfsutils.spec，修改其中Release：64bit#exportCC=’gcc–m64’

#cpsysfsutils-1.2.0.tar.gz/usr/src/redhat/SOURCES/#rpmbuild-basysfsutils.spec

编译好的sysfsutils在/usr/src/redhat/RPMS/目录下

测试过程

具体的测试过程，包括基本功能测试，网络性能测试两类，请参看以下几个步骤。

驱动程序GridStack编译与安装

把驱动程序包Gridstack下载到/tmp目录，按照以下顺序执行安装操作：

#tarxzvfGridStack-4.1.5_4.tgz

#tarxzvfGridStack-4.1.5_4.tgz#cdGridStack-4.1.5_4

//如果需要自己编译 MPI库，可以编译./install/ofed.conf.suse9-ppc64把openmpi，mpitests几个选项都改成n

#./install.sh

MVAPICH2的编译

需要编译MPI是因为GridStack提供的MPI只支持F77编译器，不支持F90。另外F90是各厂商提供的商业收费的编译器，须另行购买。客户如需要编译使用F90写的并行程序，需要自行编译MPI已支持F90。

在编译MVAPICH之前，首先要装好IBM的fortran90编译器xfl90。下载必威体育精装版版本的mvapich2-0.9.8p2源码包到/tmp目录中。

执行下列步骤完成编译安装操作。

#tarxzvfmvapich2-0.9.8p2.tar.gz

#tarxzvfmvap