基于NoSQL的海量航空物流小文件分布式多级存储方法-云计算论坛.PDFVIP

第３４卷第５期 计 算 机 应 用 研 究 Ｖｏｌ．３４Ｎｏ．５ ２０１７年５月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｍａｙ２０１７ 基于ＮｏＳＱＬ的海量航空物流 小文件分布式多级存储方法 ａ，ｂ ａ ａ ａ ａ，ｂ 丁建立 ，郑峰弓 ，李永华 ，罗云生 ，曹卫东 （中国民航大学ａ．计算机科学与技术学院；ｂ．天津市智能信号与图像处理重点实验室，天津３００３００） 摘　要：为了解决航空物流领域海量小文件存储效率和访问效率不高的问题，提出一种基于ＮｏＳＱＬ的海量小 文件分布式多级存储方法。充分考虑到数据的时效性、本地性、操作的并发性以及文件之间的相关性，先根据相 关性将文件合并，然后采用分布式多级存储，使用内存式Ｒｅｄｉｓ数据库做缓存，ＨＤＦＳ做数据的持久化存储，其过 程采用预取机制。实验结果表明，该方法有效提高了小文件的存取效率和磁盘的利用率，显著地降低了网络的 带宽占用和集群ＮａｍｅＮｏｄｅ的内存消耗，适合解决航空领域海量小文件存储问题。 关键词：小文件；Ｒｅｄｉｓ；ＨＤＦＳ；多级存储；预取机制 中图分类号：ＴＰ３１１　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１７）０５１４３３０４ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１７．０５．０３５ Ｍｅｔｈｏｄｏｆｄｉｓｔｒｉｂｕｔｅｄｍｕｌｔｉｌｅｖｅｌｓｔｏｒａｇｅｏｆｍａｓｓｉｖｅ ｓｍａｌｌｆｉｌｅｓｏｆａｉｒｌｏｇｉｓｔｉｃｓｂａｓｅｄｏｎＮｏＳＱＬ ａ，ｂ ａ ａ ａ ａ，ｂ ＤｉｎｇＪｉａｎｌｉ ，ＺｈｅｎｇＦｅｎｇｇｏｎｇ，ＬｉＹｏｎｇｈｕａ，ＬｕｏＹｕｎｓｈｅｎｇ，ＣａｏＷｅｉｄｏｎｇ （ａ．ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ＆Ｔｅｃｈｎｏｌｏｇｙ，ｂ．ＴｉａｎｊｉｎＫｅｙＬａｂｏｒａｔｏｒｙｆｏｒＡｄｖａｎｃｅｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ，ＣｉｖｉｌＡｖｉａｔｉｏｎＵｎｉｖｅｒｓｉｔｙｏｆＣｈｉｎａ， Ｔｉａｎｊｉｎ３００３００，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｏｆｉｎｅｆｆｉｃｉｅｎｔｓｔｏｒａｇｅａｎｄｉｎｅｆｆｉｃｉｅｎｔａｃｃｅｓｓｏｆｍａｓｓｉｖｅｓｍａｌｌｆｉｌｅｓｉｎｔｈｅｆｉｅｌｄｏｆａｖｉａ ｔｉｏｎｌｏｇｉｓｔｉｃｓ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｍｅｔｈｏｄｏｆｄｉｓｔｒｉｂｕｔｅｄｍｕｌｔｉｌｅｖｅｌｓｔｏｒａｇｅｏｆｍａｓｓｉｖｅｓｍａｌｌｆｉｌｅｓｂａｓｅｄｏｎＮｏＳＱＬ，ｗｈｉｃｈ ｆｕｌｌｙｃｏｎｓｉｄｅｒｅｄｔｈｅｄａｔａｔｉｍｅｌｉｎｅｓｓ，ｔｈｅｄａｔａｌｏｃａｌｉｔｙ，ｔｈｅｃｏｎｃｕｒｒｅｎｃｙｏｆｏｐｅｒａｔｉｏｎａｎｄｔｈｅｃｏｒｒｅｌａｔｉｏｎｂｅｔｗｅｅｎｆｉｌｅｓ，ａｃｃｏｒｄ ｉｎｇｔｏｔｈｅｃｏｒｒｅｌａｔｉｏｎ，ｍｅｒｇｉｎｇｆｉｌｅ，ａｎｄｔｈｅｎａｐｐｌｉｅｄａｄｉｓｔｒｉｂｕｔｅｄｍｕｌｔｉｌｅｖｅｌｓｔｏｒａｇｅ，ａｎｄｗｈｉｃｈａｐｐｌｉｅｄｍｅｍｏｒｙｔｙｐｅＲｅｄｉｓ ｄａｔａｂａｓｅｔｏｔｈｅｄａｔａｃａｃｈｅａｎｄＨＤＦＳｔｏｐｅｒｍａｎｅｎｔｌｙｓｔｏｒｅｔｈｅｄａｔａｗｉｔｈｕｓｉｎｇｐｒｅｆｅｔｃｈｉｎｇｍｅｃｈａｎｉｓｍ．Ｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓ ｓｈｏｗｔｈａｔ，ｔｈｅｍｅｔｈｏｄｅｆｆｅｃｔｉｖｅｌｙｉｍｐｒｏｖｅｓｔｈｅａｃｃｅｓｓｅｆｆｉｃｉｅｎｃｙｏｆｓｍａｌｌｆｉｌｅｓａｎｄｔｈｅｕｔｉｌｉｚａｔｉｏｎｏｆｄｉｓｋ，ａｎｄａｌｓｏｓｉｇｎｉｆｉｃａｎｔｌｙ ｒｅｄ