基于RapidIO 的高性能通信接口的设计与实现.docxVIP

第 ２６卷第 ７期２００９年 ７月　　计算机应用与软件ＣｏｍｐｕｔｒＡｐｐｌｃａｔｏｎｓａｎｄＳｏｆｗａｒＶｏｌ２６Ｎｏ．７Ｊｌ２００９基于 ＲａｐｉＩ 的高性能通信接口的设计与实现梁　基　金亨科　徐炜民　郑衍衡　沈文枫（上海大学计算机工程与科学学院　上海 ２０００７２）摘　要　　在高性能计算领域中，集群系统对于高速互连网络的要求越来越高。通过研究将 ＲａｐｉＩ 用于集群系统的高速互连网络，设计并且实现了基于 ＲａｐｉＩ 的高性能通信接口，该接口针对 ＭＰＩ高度优化，并且充分利用 ＲａｐｉＩ 的硬件优势，具有基于优先级的多流、可靠有序的数据包传输等特点，并且使用了空闲缓存池提高性能。实验数据表明，在带宽和延迟上，该专用接口都比原来的接口有优势。关键词　　ＲａｐｉＩ　ＭＰＩ 集群　高性能计算　消息传递接口ＤＥＳＩ ＮＡＮＤＩ ＰＬＥＭＥＮＴＡＴＩ ＮＯＦＡＨＩ Ｈ ＰＥＲＦＯＲＭＡＮＣＥＣＯＭＭＵＮＩＡＴＩ ＮＩＴＥＲＦＡＣＥＢＡＳＥＤＯＮＲＡＰＩＩＬｉｎｇＪ　ＪｎＨｅｎｇｋｅ　ＸｕＷｅｉｉ　ＺｈｅｎｇＹａｎｈｅｎｇ　ＳｈｅｎＷｅｎｆｎｇ（ＳｃｏｏｌｏｆＣｏｍｐｕｔｒＥｎｇｉｅｒｎｇａｎｄＳｃｅｃ，ＳｈａｎｇｈａｉＵｎｉｅｓｔ，Ｓｈａｎｇｈａｉ２０００７２，Ｃｈｉａ）Ａｂｓｒａｃｔ 　Ｉ ｔｅｆｅｌ ｏｆｈｉｈｐｅｒｏｒａｎｃｅｃｏｍｐｕｔｔｏｎ，ｔｅｒ ｉｇｒｗｉｇｃｏｎｃｅｒｓｗｉｈｔｅｅｆｅｃｔｏｆｈｉｈｓｅｅｄｎｅｔｏｒ ｐｅｒｏｒａｎｃｅｏｎｃｌｓｅｒｓｓｅｍ．Ｉ ｔｉａｒｉｌ，ｉａｎａｌｓｓｔｅａｐｐｌｃａｔｏｎｏｆＲａｐｉＩ ｉｈｉｈｓｅｅｄｎｅｔｏｒ ｏｆｃｌｓｅｒｓｓｅｍ，ｄｅｓｇｎｓａｎｄｉｐｌｍｅｎｔｔｅｈｉｈｐｅｒｏｒａｎｃｅｃｏｍｍｕｎｉａｔｏｎＩｔｒａｃｅｂａｓｄｏｎＲａｐｉＩ．ＴｈｉｓｅｃｉｌＩｔｒａｃｅａｉｓａｔｈｉｈｌｏｐｔｍｉｉｇＭＰＩｍａｋｅｓｔｅｂｅｓｕｓ ｏｆＲａｐｉＩ’ｓｈａｒｗａｒ ａｄｖａｎｔｇｅｈａｓｔｅｃｈａｒｃｔｒｏｆｍｕｌｉｓｒａｍｃｏｍｍｕｎｉａｔｏｎｗｉｈｐｒｏｒｔｓｈｅｄｕｌｎｇｓｒｔｇｙｒｌａｂｌａｎｄｏｒｅｒｙｄａｔｔａｎｓｅｒｉｇａｂｉｉｙ．Ｍｏｒｏｖｅｒｉｕｓｓｂｕｆｅｒｐｏｏｌｔｉｐｒｖｅｔｅｅｆｉｉｎｃｙ．ＦｒｍｔｅｒｓｌｓｏｆｔｅｔｓｓｉｃａｎｔｌｔａｔｔｉｓｅｃｉｌＩｔｒａｃｅｓｏｗｓｃｏｎｓｄｅｒａｂｌａｄｖａｎｔｇｅｓｃｏｍｐａｒｎｇｗｉｈｉｓｏｒｇｉａｌＩｔｒａｃｅｉ ｂｏｔ ｈｉｈｂａｎｄｗｉｔ ａｎｄｌｗｌｔｎｃｙ．Ｋｅｙｗｏｒｄｓ　　ＲａｐｉＩ　ＭＰＩ Ｃｌｓｅｒ Ｈｉｈｐｅｒｏｒａｎｃｅｃｏｍｐｕｔｎｇ　Ｍｅｓａｇｅｐａｓｉｇｉｔｒａｃｅ标准［４］，其中支持 ＭＰＩ２标准的 ＭＰＩＨ２是使用最广泛的一个０　引　言在当今高性能计算领域中，集群以其成本低、通用化占着重要的地位。然而随着对于高性能计算需求的提升，集群系统的ＣＰＵ数从几十个逐渐发展到了成千上万个，使得集群间的高速互连网络设计变得越来越复杂。现有的互连网络已无法胜任如此大规模的集群。为了使集群系统规模能够进一步地提高，必需要有高带宽、低延迟、支持大规模集群的高速互连网络。例如由 ＩＭ 建造的当今世界 Ｔｏｐ５００１］排名第一的高性能计算机ＢｌｅＧｅｎｅ／［２］。ＲａｐｉＩ 是一个开放的标准，它是由 Ｍｏｔｒｌ等公司率先倡导的一种新型高性能、低引脚数、基于报文交换的互联体系结构，主要用于紧耦合系统内部互联，支持芯片到芯片、板到板间的通信。由于其传输速度可高达 ６０Ｇｂｐｓ，而且对系统节点的增加也有非常好的扩展性，所以对于集群系统的高速互联网络来说，显然是一个令人兴奋的发展方向［３］。本文在含有 ＲａｐｉＩ 控制器的 ＭＰＣ８５４８Ｅ处理器上，利用ＲａｐｉＩ 互联技术作为高性能计算的互联网络进行了探索研究和实验，设计并实现了一种基于 ＲａｐｉＩ 的高性能通信接口。实现［５］。为了更好地提供其在高性能计算环境中的网络通信性能。ＭＰＩＨ２提供了设备接口层，供用户连接特定的高性能互连网络，比如：Ｉｆｎｉａｎｄ的 ＩＡ接口［６］等。本文所研究的含有 ＲａｐｉＩ 控制器的 ＭＰＣ８５４８Ｅ处理器，其 ＲａｐｉＩ 的传输速度可达 １０Ｇｂｐｓ，并且支持消息传递机制［７］。通过消息传递机制，ＲａｐｉＩ 可以将一个节点中的数据块自动传送到一个或多个目标节点中，并且其可以自动完成数据校验和错误重发，完全不需要程序和 ＣＰＵ的干预。消息传递机制可以发送 ２种消息：Ｄａｔ Ｍｅｓａｇｅ和 ＤｏｏｒｅｌＭｅｓａｇｅ 其中 ＤａｔＭｅｓａｇｅ用于发送大数据量的消息，最大可以支持 ４ＫＢ的数据量，并且支持 ３个传输优先级。而 ＤｏｏｒｅｌＭｅｓａｇｅ主要用于发送控制信息，其传输速度较快，但只可以传送 ２Ｂｙｔ的数