基于U57R的云存储系统小文件优化方案-中国云计算.PDFVIP

第 卷 第 期 计 算 机 工 程 年 月 软件技术与数据库 文章编号 文献标识码 中图分类号 基于的云存储系统小文件优化方案 邹振宇郑 ?王 嵩杨 坚 中国科学技术大学自动化系合肥 摘 要 分布式文件系统具有高容错可伸缩廉价存储等优良特性在大数据存储和分析场景中 得到广泛应用 但对于海量小文件存储存在高内存消耗高延迟访问等缺陷 为此结合 合肥城市云 系 统 一次上传多次下载 的特性提出一种基于小文件属性的优化方案 根据文件之间的相关性设定优先级对小 于 的文件按优先级高低合并后再上传并生成索引记录 结合随机化思想采用两级缓存策略将预提取数 据缓存在内存池中提高访问效率 同时系统定期查询访问日志根据用户访问习惯动态调整预提取因子的大 小 实验结果表明该方案能有效提高小文件访问效率降低名字节点和数据节点的内存开销在有海量小文件存 取的情况下提升系统的交互性 关键词 分布式文件系统小文件预提取随机化动态调整 中文引用格式邹振宇郑 ?王 嵩等基于 的云存储系统小文件优化方案计算机工程 英文引用格式 式文件系统 是 概述 的开源实现是一个可扩展的分布式文件系 随着互联网的高速发展数据量呈指数级增长 统可以在廉价的硬件上运行并具有可靠的容错能 海量数据的存储与分析已成为热门的研究领域 力 目前在国内也得到了广泛的应用例 为了存储其内部无比庞大的数据设计了分布 如阿里巴巴百度腾讯 网易等互联网公司均利用 式文件系统 分布 存储海量数据并在此基础上进行数据挖掘和 基金项目国家自然科学基金资助项目 作者简介邹振宇 男硕士研究生主研方向为云存储系统 网络传播与控制郑 ?副教授博士王 嵩讲师博士 杨 坚副教授博士生导师 收稿日期 修回日期 第 卷 第 期 邹振宇郑 ?王 嵩等基于的云存储系统小文件优化方案 分析 笔者所在实