一种动态连接存储资源和计算资源装置.pdfVIP

一种动态连接存储资源和计算资源装置的 设计与实现* 刘宇 施家元 刘海洋 liuyu@ support@ liuhaiyang@ 摘要：存储与计算的分离，重新定义了计算机的使用模式。计算资源和存储资源的动态重构，不仅提高了 资源的利用率，而且简化了管理。一种实现这种新模式同时又兼容于传统机制的方案是在存储设备级截获 数据流，并转接到网络，利用现在网络高带宽、可靠和灵活的特性提供高速、稳定和动态的服务。本文将 介绍动态网络硬盘 nHD （network HardDisk ）的设计和实现，给出并分析其运行性能。 关键词：nHD，存储和计算分离，动态计算环境 1 引言 [3] 随着当今信息量爆炸性的增长 ，人们对存储的要求也在不断增长，然而传统的DAS （直 连式存储Direct Access Storage ）模型逐渐无法跟上信息时代存储发展的需要，主要问题是： （1）人们对数据服务的高性能、高扩展和高可用的要求大大提高，而存储和计算绑定的模 式缺乏灵活性和在线扩展能力；（2 ）日益庞大而又分散的信息造成资源利用的低效同时也增 加了管理的开销，人们急切需要更高效节省的存储管理模式；（3 ）如何实现高效的信息共享， 是互联网时代最值得关注的问题，传统DAS模型只能通过副本拷贝进行信息共享，不仅低效 [1,2] 而且难于维护一致性 。 造成这些问题的根本原因在于计算资源和存储资源本质上有较大差别。特别是计算资源 作为人们日常使用的工具，其发展倾向于分散；而存储资源作为信息的载体，其发展则倾向 于集中。传统计算机 DAS 模式是以计算资源和存储资源紧耦合方式构建而成，这种紧密的 绑定关系，使得两种资源特性的相互冲突最终演变成了发展的相互束缚。因此这些问题最根 本的解决方式是实现计算资源和存储资源的分离和动态组合。 国家高性能计算机工程技术中心自主研发的nHD （Network Hard Disk ）系统，打破常 理，在存储与计算分离的理论基础上，创造性地通过 nHD 系统的网络硬盘通道（nHD 卡） 对存储资源和计算资源进行了彻底的分离，保证了按需动态构建计算资源和存储资源能力的 同时又兼容于传统使用机制，实现了集中存储而分散动态使用的存储模式，提高了资源利用 效率，解决了信息分散带来的管理问题。 本文将在第 2 节介绍相关研究的情况；第 3 节介绍 nHD 卡的总体框架、各模块的组成 以及其各方面的优点和特性；第4 节给出具体的性能参数并分析；第 5 节总结全文，并介绍 今后研究工作。 2 相关研究 网络软硬件平台技术的飞速发展和成熟，为实现存储和计算的分离提供了合适的基础平 *本课题得到国家“973 ”基金项目(2004CB318205)资助。 台，对已有技术稍加整合即可构建高速稳定的资源动态构建系统。从存储市场的发展来看， 目前已有多种不同类型的产品： NC （网络计算机 Network Computer ）利用网络动态绑定客户和资源，资源的使用方式 较灵活，利用率也较高。但 NC 并未分离存储资源和计算资源， NC 客户端需要专用设备的 支持，中央服务器通常需要较高的成本，客户无法随意选择操作系统，而且 NC 很难向客户 提供完全个性化的系统数据。 1 2 典型的分离出存储资源的系统是NAS 和SAN ，它们也是通过高速网络动态重构存储资 源和计算资源，由于分别基于文件级的访问和基于块级的访问，因而互有优缺点却又正好相 互补充。但目前NAS和SAN的主要使用方式是分离出用户数据，由于未分离系统数据，完成 初始配置后基本不再改动映射关系，因而只是做到了物理分离而非逻辑分离。 无盘工作站理论上可以做到资源物理上和逻辑上的分离，目前的无盘工作站通常直接复 用网络适配器，这种方式有几点不利因素：（1）过分依赖于宿主机的具体软硬件，这导致实 现过程中不得不采取折中的手段，从而引入一些问题；（2 ）如果网络连接外网，则会存在潜 在的安全问题；（3 ）数据的传输不得不占用客户端的处理器资源。种种限制尤其是第一点使 得复用网络适配器的工作站至今没有较理想的产品，它们多数设计简单，