Intel-既生InfiniBand何生Omni-Path-发展概述.docx

? ? ? ? ? ? ? ? Intel: 既生InfiniBand何生Omni-Path ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 在前面一些文章中我们分析了InfiniBand?技术、主流厂商和产品(主要是Mellanox)，具体参看文章InfiniBand主流厂商和产品分析和文章InfiniBand技术和协议架构分析。InfiniBand领域当前在快速变化，行业玩家也在开始减少，目前放眼望去，还在玩InfiniBand的厂商也就只剩Mellanox和Intel了。 ? ? ? 回顾InfiniBand?Trade Association (IBTA)，IBTA的9个主要董事成员CRAY、Emulex、HP、IBM、intel、Mellanox、Microsoft、Oracle、Qlogic中只有Mellanox和Emulex专门在做InfiniBand，其他成员只是扮演了使用InfiniBand的角色。而Emulex由于业务不景气也在2015年的2月被Avago收购，Qlogic的infiniband业务在2012年也全部卖给Intel了。 ? ? ? 但是收购了Qlogic的InfiniBand业务的Intel又另辟新径，推出了自己的一整套叫做“True Scale Fabric”的高性能计算架构的解决方案，独立提出了一套Omni-Path Host Fabric Interface新接口和对应的交换机产品，每个端口支持100G速率，直接叫板InfiniBand?EDR。 ? ? ? Intel True Scale Fabric?软件架构和产品系列可以说是一个整体网络解决方案架构，该架构即为InfiniBand软件协议栈，Omni-Path协议栈也是基于Intel True Scale Fabric实现。下面我们先讨论Intel True Scale Fabric?软件架构和产品。 ? ? ? 上图是对InfiniBand软件堆栈实现，针对上层Intel提供Verbs和PSM(性能扩展消息库)两个编程接口，PSM也是针对MPI设计，专门面向?MPI?通信，?通过高性能计算优化的库。PSM?是一种专为优化?MPI?性能需求而构建的“轻型”库，虽然不对其他应用提供接口，但其他应用仍调用Verbs接口。Intel HCA卡采用On-Load模式实现。 ? ? ? 上图展现了Intel完善的True Scale 品牌的InfiniBand产品。面对未来高性能、大带宽应用和业务，既然已经有了InfiniBand，为什么还要另辟蹊径开发Omni-Path呢。 ? ? ? 先看看简单分析，从产品支持的端口数量和网络组网层次来看，Omni-Path是具有优势的，对网络设备来说，网络时延、服务质量保证方面Omni-Path也是有优势的，相比InfiniBand，物理介质层算是比较大的优化吧。 ? ? ? 看到下面的个张图似乎和前面的Intel True Scale InfiniBand软件协议栈很相像，是的，Intel收购QLogic公司的InfiniBand部门和Cray互联部门，同时也得到QLogic InfiniPath产品，随后网络产品的名字从InfiniPath更新成True Scale。 ? ? ? Omni-Path沿用了True Scale产品名称和技术，主要的变化是在把物理层把速度从40G提到了100G。为了兼容更加开源的系统，Omni-Path也是基于开源标准的OFED架构(Mellanox也是采用该框架)，并将API接口开放。 ? ? ? Intel在CPU上集成了Omni-Path相关功能，这也意味着Omni-Path通信效率上更加高效，但会让自己的网络依赖于CPU，至少在处理器上开放性还是做的比较有局限性。 ? ? ? 通过收购Cray互联部门，Intel在?Omni-Path引入了1.5层的概念。它被称作链接传输层(Link Transport Layer)，基于Cray的Aries基础互联技术优化底层数据通信，提供可靠的2层数据包交付、流控和单连璐控制。这也算是对收购Cray的Aries技术的充分利用。 ? ? ? 从测试数据来看，在顺序读写IO模型下，Omni-Path的时延优势并不明显；但是在随机IO模型和项目条件下，Omni-Path具有比较大的优势。 ? ? ? Omni-Path架构产品线也很完备(如下图)。主要包括HFI(Host Fabric Interface)网卡、交换机、Omni-Path软件堆栈、线缆和芯片等。 ? ? ? Intel Omni-Path Fabric100系列产品系列包含边缘交换机、核心交换机等组成端到端的