基于WEB服务的远程文件I O.docVIP

基于WEB服务的远程文件I O WSIO-基于WEB服务的远程文件I/O WSIO-基于WEB服务的远程文件I/O 团队名称：IHEPer 作者：刘爱贵 单位：中科院高能物理研究所计算中心 摘要 WSIO是一个基于Web Service技术实现的、与POSIX标准兼容的文件I/O，实现了存储系统的远程文件I/O功能，主要解决异构环境下存储系统之间的互操作问题，方便存储资源的有效整合和扩展。 WSIO在GNU LINUX下基于gSOAP、C/C++实现，它由服务器、客户端工具、文件系统、用户开发库等几个部分组成，支持GLOBUS GSI以及访问的授权和认证，实现了通用文件访问接口GFAI(General File Access Interface)来对不同存储系统的支持和扩展。它不仅可以进行文件的远程复制，而且实现了类似本地文件系统的API，可以远程打开文件进行读写和定位操作。另外，基于FUSE(File System in User Space)实现了WSIO文件系统，提供本地文件系统接口。 1.背景和应用领域 计算和存储是计算机系统的两在基本任务。随着网络技术的不断发展，基于局域网的存储系统已经不能很满足计算对存储的需求，而将存储与计算分离的广域网存储系统目前仍不是非常成熟。由于广域网的复杂性，广域网存储将面临着很多问题有待解决，主要表现在存储系统的数据互操作、资源整合、可扩展性、性能和安全等方面。 传统的分布式文件系统，如AFS、NFS、DFS、CIFS等，都是基于局域网的分布式文件服务系统，即集群文件系统。由于网络延迟远高于局域网，频繁的通信使得这些文件共享协议都无法应付高延迟的广域网环境。目前，许多研究组织已经开发出了支持在广域网上的文件访问方法，其中包括GLOBUS项目的GridFTP和GASS，CERN CASTOR项目的RFIO访问协议，美国FERIMI和德国DESY实验室开发的dCache系统的dcap访问协议。 GridFTP传输性能很高，在网格中使用广泛，但它只是一种文件传输协议，没有提供与本地文件系统一致的访问接口和对象模型。GASS、RFIO、dcap虽然提供了类似POSIX的文件访问接口，但都存在一些问题。GASS简化了数据一致性问题，只支持广域网环境下的常见I/O模式：只读、共享写、只追加、单用户读写。RFIO和dcap具有较强的文件共享语义，可用于广域网环境下的文件访问，但性能问题导致不能得到实际应用。 更为重要的是，这些协议相互不兼容，在异构性(包括硬件和软件)不断加剧的广域网环境下，存储资源的整合、不同系统间的互操作、存储系统的可扩展性以及符合用户使用习惯的访问方式都成了新的难题。另外，这些协议都需要使用特定系统端口，但出于安全的考虑，局域网防火墙可能关闭这些端口，从而无法从远程进行访问。 WSIO充分利用了WEB服务的优点，提出一种新的方案来改进当前广域网文件I/O存在的上述问题，可以应用于广域网环境下一些存储需求场景。 异构存储系统之间的数据互操作 WEB服务利用XML、SOAP、WSDL、UDDI等标准提供了一个松散耦合的分布式计算环境。WSIO以不改动原存储系统为原则，利用WEB服务实现了文件系统访问接口的RPC服务，使得用户可以方便地访问远程的存储资源，在不同存储系统之间实现数据互操作。 内部存储资源的外部访问 WEB服务中使用SOAP作为消息传递的协议。SOAP采用HTTP等协议作为底层通信协议，可以穿越企业防火墙在广域网上进行通信交互。因此，WSIO突破了很多存储系统因为安全考虑不允许外部访问的限制，可以为这些存储系统提供一个安全的外部数据访问方法。 存储资源的整合与统一访问 WSIO实现了异构存储系统之间的数据互操作，可以无缝地对广域网上的存储资源进行整合，消除信息孤岛。WSIO屏蔽了不同存储系统访问协议的细节和差别，提供了统一的、与POSIX标准兼容的文件系统接口，大大降低对用户的要求，方便用户对各种存储系统的访问。 细粒度的文件I/O访问操作 WSIO实现了文件I/O的RPC功能，不仅可以进行文件的远程拷贝，而且实现了类似本地文件系统的API，可以远程对文件进行OPEN、SEEK、READ、WRITE等细粒度的I/O访问操作。这可以很好满足文件的部分传输、用户I/O应用编程等方面的需求。 2.作品特点和设计思路 广域网中存在许多存储系统，包括分布式文件系统、海量存储系统，不同的系统是为了满足不同的存储需求而设计的。由于采用不同的软件及数据访问协议，这些存储系统互不兼容。这显然是低效的，用户使用也很不方便。实际应用中，用户和应用程序需要在各种存储系统之间快速有效地进行数据的传输。 Web Services是用标准规范的XML格式描述的一组操作接口，它隐藏了实现服务的细节，允许