基于TFS的分布式文件存储平台研究与实现-计算机技术专业论文.docxVIP

Dissertation Submitted to Hebei University of Technology for The Master of Engineering Degree of Computer Technology RESEARCH AND IMPLEMENTATION OF DISTRIBUTED FILE STORAGE SYSTEM BASED ON TFS by Zhai Meng Supervisor: Prof.GU Junhua November 2014 摘 要 随着互联网的迅猛发展，以文本、音频、图片等数据为代表的非结构化数据呈现 爆炸式增长，面对这个问题，分布式文件存储技术应运而生。淘宝自行研发文件的存 储框架（TFS），其高效率、高容错性、高并发性使得它能够处理海量的小文件存储。 但是分布式文件存储系统搭建，存在浪费时间、金钱和精力的问题，不能适应现在高 速发展的互联网行业。因此本课题以 TFS 文件存储为基础，研究并实现了一个稳定、 高效、安全的分布式文件存储平台，给第三方应用提供稳定的存储服务，具有重要的 应用价值。主要工作如下： 首先，针对现在海量小文件存储中遇到的问题，提出了基于 TFS 的分布式文件 存储解决方案，并设计了高效的分布式存储体系，主要包括平台 Web 端、核心数据缓 存集群、文件管理服务集群、数据库和 TFS 数据存储集群。 其次，提出了支持事务的文件存储模型 TSP（File Storage Platform），该模型 由底向上分为 TFS 数据存储层、文件管理层和访问接口层。事务操作由上到下映射到 TFS 数据存储层，从而保证了文件数据的完整性。 再次，根据平台的分布式的特性，采用了对等服务器的模式,设计了系统的整体 框架，使用了加权轮询算法实现负载均衡,为提高系统访问速度，利用了缓存为核心 的数据访问方式，并以 Memcached 缓存搭建了核心缓存服务。 最后，实现了基于 TFS 的文件存储平台，不仅方便了用户管理自己的文件，同 时系统提供文件操作的 API，为第三方应用提供文件存储服务。 关键字：分布式系统，文件存储，TFS ABSTRACT With the rapid development of the Internet, the continuous expansion of the field of computer, non structured data in text and audio data are represented by the explosive growth in the face of this problem, a distributed file storage technology arises at the historic moment. Taobaos own research and development of file storage framework (TFS), its high efficiency, high fault tolerance, high concurrency allows it to handle large small file storage. But to build the TFS distributed file storage system, there are a waste of time, money and energy problems and can not meet the current rapid development of the Internet industry.So this paper is stored in TFS files as the basis to design and developa stable、efficient and secure distributed file storage platform for third party applications provide storage service stability. It has important application value. The main work is as follows： Firstly,aimed at the problems in the mass small file storage, now I presented on the basis of TFS distributed file storage solutions and design the efficient distributed st