分布式文件系统中元数据操作优化.docVIP

分布式文件系统中元数据操作优化 　　摘 要：分析了PVFS2中的元数据操作流程，以remove操作为例，通过测试发现其瓶颈之处，提出一种将判断过程放置到服务器端来减少通信次数的优化方法，这些方法同样可以应用于其他元数据操作。在PVFS2中实现了该优化方法，并将其同原来的remove操作耗时进行了对比，结果表明，该元数据操作的性能提高了10%左右。 　　关键词：分布式文件系统；元数据操作；优化处理；PVFS2 　　中图分类号： TP316.4 　　文献标志码：A 　　Metadata processing optimization in distributed file systems 　　LIU Lian， ZHENG Biao， GONG Yi-li* 　　School of Computer Science， Wuhan University， Wuhan Hubei 430072， China 　　tract： 　　This paper analyzed the metadata processing in PVFS2， and took the remove operation as an example. To find out the bottlenecks in the remove operation， the time of each step was tested. And an optimization method to reduce the communication number by placing judgmental process on the server side was proposed， which is also suitable for other metadata operations. The optimization method was implemented in PVFS2. Compared with the original remove operation， this proposed method shows about 10% improvement in performance. 　　英文关键词　Key words： 　　distributed file system； metadata operation； processing optimization； PVFS2 　　0 引言 　　随着网络应用的迅速发展，网络时代数据规模越来越大，海量数据存储和大规模并发的I/O成为了分布式系统中的瓶颈。单机环境下的文件系统已经不能满足当前网络时代的大容量、高可靠性、高性能、高扩展性等需求。为了有效解决这一问题，工业界和学术界开发出基于各种设计架构和理念的分布式文件系统[1-5]。 　　元数据的管理是分布式文件系统中一个重要的研究内容[6]。元数据是描述文件系统组织结构、文件属性和文件数据的数据，在分布式文件系统中，与元数据有关的操作占到了所有操作的60%以上[7]。元数据处理的有效性和高效性将影响整个系统的正确性、可靠性、可扩展性和性能提升[8-9]。 　　1 相关工作 　　PVFS2是由Clemson大学开发的一个能在Linux机群上进行并行I/O和并行文件系统研究的实验平台。PVFS2是一个开源的、可扩展的并行文件系统，内部各个部件的模块化程度很高[10]。PVFS2支持多个数据服务器和元数据服务器。在文件系统内部进行元数据处理时，包含对以下4种类型对象的操作[11]： 　　1）元数据文件对象（Metafile Objects）。存放文件的所有者和权限，以及对应的所有数据文件对象的句柄，数据文件分布情况，数据文件句柄和数据文件的个数。 　　2）数据文件对象（Datafile Objects）。存放文件的实体数据。 　　3）目录对象（Directory Objects）。存放所有者和权限等信息，也存放目录数据对象的句柄。 　　4）目录数据对象（Directory Data Objects）。以“文件名：元数据文件句柄”这样的格式存放一个文件的信息，来区分文件和目录。 　　可以通过图1来说明PVFS2文件系统内各个对象的关系。在文件系统根目录下有一个目录dir，路径为/dir。dir的目录下有一个文件File1，路径为/dir/File1。假设每一个方块代表一个对象。File1被条带化（striping）分成3块部署到3个数据服务器上[12]，其中，前两块的大小是PVFS2中默认的64KB。另外，从用户的角度看，目录对象和目录数据对象是相同的，因此只用一个图表示。系统通过句柄来访问这些对象，每一个对象都由唯一的句柄来标识。 　　句柄是系统中唯一的、类似于整型