毕业论文（设计）分布式文件系统研究.pdfVIP

分布式文件系统研究

由于工作性质的关系,我觉得自己很有必要对当今主流的分布式文件系统(Distributed

FileSystem,DFS)做系统的研究,总结优缺点,为下ー步的工作提供必要的参考。因此,

我动手搜集了不少资料,并进行了很初步的学习,以后我会把自己对DFS的学习心得整理

起来,陆续放到博客上来。这就当是开篇吧,嘿嘿《立

概述

文件系统是操作系统的ー个重要组成部分,通过对操作系统所管理的存储空间的抽象,

向用户提供统ー的、对象化的访问接口,屏蔽对物理设备的直接操作和资源管理。

根据计算环境和所提供功能的不同,文件系统可划分为四个层次,从低到高依次是:单

处理器单用户的本地文件系统,如DOS的文件系统;多处理器单用户的本地文件系统,如

OS/2的文件系统;多处理器多用户的本地文件系统,如Unix的本地文件系统;多处理器

多用户的分布式文件系统,如Lustre文件系统。

本地文件系统(LocalFileSystem)是指文件系统管理的物理存储资源直接连接在本

地节点上,处理器通过系统总线可以直接访问。分布式文件系统(DistributedFile

System)是指文件系统管理的物理存储资源不ー定直接连接在本地节点上,而是通过计算

机网络与节点相连。

由于互联网应用的不断发展,本地文件系统由于单个节点本身的局限性,已经很难满足

海量数据存取的需要了,因而不得不借助分布式文件系统,把系统负载转移到多个节点上。

传统的分布式文件系统(如NFS)中,所有数据和元数据存放在ー起,通过单一的存

储服务器提供。这种模式一般称之为带内模式(In-bandMode)。随着客户端数目的增

加,服务器就成了整个系统的瓶颈。因为系统所有的数据传输和元数据处理都要通过服务

器,不仅单个服务器的处理能力有限,存储能力受到磁盘容量的限制,吞吐能力也受到磁盘

I/O和网络!/O的限制。在当今对数据吞吐量要求越来越大的互联网应用中,传统的分布式

文件系统已经很难满足应用的需要。

于是,ー种新的分布式文件系统的结构出现了,那就是利用存储区域网络（SAN）技

术,将应用服务器直接和存储设备相连接,大大提高数据的传输能力,减少数据传输的延时。

在这样的结构里,所有的应用服务器都可以直接访问存储在SAN中的数据,而只有关于文

件信息的元数据オ经过元数据服务器处理提供,减少了数据传输的中间环节,提高了传输效

率,减轻了元数据服务器的负载。每个元数据服务器可以向更多的应用服务器提供文件系统

元数据服务。这种模式一般称之为带外模式（Out-of-bandMode）〇最近的Storage

Tank.CXFS、Lustre.BWFS等都采用这样的结构,因此它们可以取得更好的性能和扩展

性。区分带内模式和带外模式的主要依据是,关于文件系统元数据操作的控制信息是否和文

件数据一起都通过服务器转发传送。前者需要服务器转发,后者是直接访问。

分布式文件系统的历史

随着计算机应用范围的扩展,通过文件访问接口在不同主机之间共享文件的需求日益增

强。下面分为几个阶段介绍分布式文件系统的发展过程。

最初的分布式文件系统应用发生在20世纪70年代，之后逐渐扩展到各个领域。从早

期的NFS到现在的StorageTank,分布式文件系统在体系结构、系统规模、性能、可扩展

性、可用性等方面经历了巨大的变化。

第一代分布式文件系统（1980年代）

早期的分布式文件系统一般以提供标准接口的远程文件访问为目的,更多地关注访问的

性能和数据的可靠性,以NFS和AFS(AndrewFileSystem)最具代表性,它们对以后的文

件系统设计也具有十分重要的影响。

NFS从1985年出现至今,已经经历了四个版本的更新,被移植到了几乎所有主流的

操作系统中,成为分布式文件系统事实上的标准。NFS利用Unix系统中的虚拟文件系统

(VirtualFileSystem,VFS)机制,将客户机对文件系统的请求,通过规范的文件访问协

议和远程过程调用,转发到服务器端进行处理;服务器端在VFS之上,通过本地文件系统

完成文件的处理,实现了全局的分布式文件系统。Sun公司公开了NFS的实施规范,互联

网工程任务组(TheInt