Readdir ++一种并行网络文件系统中海量小文件读优化技术.pdfVIP

小型微型计算机系统 2014年11月第11期 JournalofChinese V01．35No．11 2014 ComputerSystems 杨洪章1”，张军伟1，刘振军1，张建刚1 1(中国科学院计算技术研究所，北京100190) 2(中国科学院大学，北京100039) E—mail：zhangiw@nrchpc．ac．ca 摘要：高效管理海量小文件，提供低延时的小文件访问服务，是并行网络文件系统的研究热点．pNFS采用数据带外访问模 式，元数据的访问频率高，对海量小文件的访问性能造成了很大影响．本文扩展了pNFS中的读目录授权机制，并在其框架下提 程中同步的元数据获取开销，有效降低了访问延迟，提升了海量小文件的读取访问性能．典型应用环境实测表明，对比pNFS系 统，Readdir++技术可将海量小文件读取访问过程中元数据性能提升到14．27倍，总体性能提升到1．78倍． 关键词：海量小文件；并行网络文件系统；元数据；预取技术 中图分类号：TP316 文献标识码：A 文章编号：1000-1220(2014)1l-2402-08 Performance forMassiveSmall-fifle in Readdir++：A Technology Optimization ParallelNetworkFile System YANG Jun-weil，LIUZhen-jun‘-ZHANGJian-gan91 Hong．zhan91”，ZHANG of of 1(Institute 100190。China) ComputingTechnology。ChineseAcademyScience，Beijing Chinese of of 2(UniversityAcademyScience。Beijing100039．China) to massivesmall—file and serviceisahot in oftheOut—Of- Abstract：How manage efficientlyprovidelow·latency topicpNFS．Because nBanddatamodelin access istoo havea onthe ofmassivesmall· frequencyhigh-whichnegativeimpact performance pNFS，metadata file extendsthe mechanismin a calledReaddir++inorder storagesystem．Thispaper read-onlydelegation pNFS。presentstechnology to metadatain isabletoensuretheeffectivenessofthesemetadata．This reducestheaccess— prefetch batch。and technologyeffectively read and themassivesmall-fileaccess effectivenessofreaddir++iswithintensive latencygreatlyimproves p