Infiniband网络存储管理研究.docVIP

Infiniband网络存储管理研究 高性能计算技术 17 Ｉｎｆｉｎｉｂａｎｄ网络存储管理研究 ? 卢德平　　　　江南计算技术研究所　　无锡　　２１４０８３? 姚建华　　　　江南计算技术研究所　　无锡　　２１４０８３ 摘要： 存储技术日新月异，蓬勃发展，但存储设备各异。异构的存储产品互操作性、产品的升级、存储的统一管理等是困扰着用户的主要问题。如何将以太存储设备、光纤存储设备、ｉｎｆｉｎｉｂａｎｄ存储设备一体化，是当前存储用户迫切需要解决的困难。ｉｎｆｉｎｉｂａｎｄ存储技术解决了用户的迫切需求，实现了异构存储产品的互连，充分利用了用户已有的存储资源，具有良好的扩展性。 关键词：ｉｎｆｉｎｉｂａｎｄ，网络存储，网桥ＳＲＰ，ｉＳＥＲ，ＨＣＡ １．　引言 随着数据应用需求规模日益庞大，传统的以太网存储、光纤存储互连模式和存储的互连管理技术给网络应用带来了便利。但是，异构的存储产品不能互连，用户接口不统一，存储产品的统一升级等问题，迫切需要一种新的网络存储系统能够互连以太存储设备、光纤存储设备、ｉｎｆｉｎｉｂａｎｄ存储阵列等，以便提供统一使用接口。本来用于高性能计算互连的Ｉｎｆｉｎｉｂａｎｄ网络已经开始用到了存储的互连上，Ｉｎｆｉｎｉｂａｎｄ作为存储协议也已经有了很大的发展，作为存储协议ＳＲＰ（ＳＣＳＩ　ＲＤＭＡ　Ｐｒｏｔｏｃｏｌ）、ｉＳＥＲ（ｉＳＣＳＩ　ＲＤＭＡ）已经成为标准协议，ｉｎｆｉｎｉｂａｎｄ网络存储也进入了快速发展时期。 国外ｉｎｆｉｎｉｂａｎｄ网络存储研究进行得比较早，其中基于ｉｎｆｉｎｉｂａｎｄ的ＳＲＰ和ｉＳＥＲ产品都已经出现，其发展前景很好，无论是性能还是结构，都要远优于传统ＦＣ网络。目前，包括ＥＭＣ、Ｃｉｓｃｏ等公司在内的国外存储厂商都开始了对　ＳＲＰ　ＳＡＮ　的开发。国内，江南计算技术研究所很早即开展ｉｎｆｉｎｉｂａｎｄ存储技术研究，已经开发出了多种硬件设备以及相应的软件产品。 道和交换的开放互连结构标准。它能够连接多个独立的处理器平台、Ｉ／Ｏ平台以及Ｉ／Ｏ设备，在同一物理网络上支持一个或者多个计算机系统之间的Ｉ／Ｏ通信和内部处理器之间的通信。ＩＢ结构具有众多传统网络无法比拟的优点，使其成为高性能计算领域的新标准。在２００９年１１月份的ＴＯＰ５００中，使用ＩＢ网络互连技术的ＨＰＣ系统占３２．６％［５］，ＩＢ网络是仅次于以太网的第二大互连网络。 ＩＢ网络具有以下特点： －高带宽、低延迟。ＩＢ网络最高理论带宽可以达到１２０Ｇｂ／ｓ。当前常用ＩＢ产品为ＱＤＲ设备，其单端口单向带宽为４０Ｇｂ／ｓ，最小延迟小于１μｓ； －支持多种传输服务； －支持远端存储器直接访问（ＲＤＭＡ），包括ＲＤＭＡ读和ＲＤＭＡ写； －网络分区功能，支持可编程的分区密钥和路由； －用户层Ｉ／Ｏ访问功能，使用户数据可以旁路核心，实现“零拷贝”传输； －多层次的ＱＯＳ保障；－支持ＳＲＰ、ｉＳＥＲ存储协议。２．２　ＩＢ系统域网的组成 ?　　ＨＣＡＨＣＡ（Ｈｏｓｔ　Ｃｈａｎｎｅｌ　Ａｄａｐｔｅｒ主机通道适配器，也可称为网络适配卡）是驻留在处理结点上的网络接 ２．　Ｉｎｆｉｎｉｂａｎｄ网络存储结构 ２．１　Ｉｎｆｉｎｉｂａｎｄ　简介 Ｉｎｆｉｎｉｂａｎｄ（简称ＩＢ）网络是一种全新的基于通 《高性能计算发展与应用》　　　　　　２０１０年第二期　　　　总第三十一期 口，其作用是在ＩＢ网络和主机ＣＰＵ之间建立数据传输通道。ＨＣＡ主要功能就是用硬件设备实现了高效的通信功能。 ?　　ＴＣＡＴＣＡ（Ｔａｒｇｅｔ　Ｃｈａｎｎｅｌ　Ａｄａｐｔｅｒ目标通道适配器）提供到Ｉ／Ｏ控制器的链路和传输服务，使Ｉ／Ｏ设备可脱离主机而直接置于网络中，实现了处理计算、存储Ｉ／Ｏ、网络Ｉ／Ｏ等功能的独立。 ?　　Ｓｗｉｔｃｈ Ｓｗｉｔｃｈ是ＩＢＡ中提供高集中带宽、负载平衡等的关键部件。一个基本的Ｓｗｉｔｃｈ芯片支持２４端口或３６端口，可以提供构建成千上万个全交换的高效双向带宽的网络端口，提供无阻塞、低延迟交换功能。　 ?　　子网管理ＳＭ（Ｓｕｂｎｅｔ　Ｍａｎａｇｅｍｅｎｔ）ＳＭ是子网内负责配置和管理Ｓｗｉｔｃｈ、路由器及通道适配器的应用程序。主要提供配置子网、配置端口ＩＤ号、　配置单播多播表、　ＳＬ－ｔｏ－ＶＬ映射表、　ＶＬ仲裁表、　配置网络分区等功能。２．３　ＩＢ存储网络结构 ＩＢ互连技术实现了最大限度的异构存储环境的互连。ＩＢ通过ＳＲＰ、ｉＳＥＲ等协议实现了光纤盘阵、以太磁盘阵列、ＩＢ磁盘阵列等互连。其连接示意图如１所示。ｉｎｆｉｎｉｂａｎｄ网络连接所有的服务结点，　ＩＢ网桥连接光纤存储设备、以太存储设备。所有ｉｎｆｉｎｉｂａｎｄ网络互连的结点可以直接访问存储设备。 图１　　ｉｎｆｉｎｉｂａｎｄ存储结构 ２．４　Ｉｎｆｉｎｉｂａｎｄ存储协议软件结构 ｉｎｆｉｎｉｂａｎｄ