《开源分布式文件系统比较.docxVIP

开源分布式文件系统比较经过安装部署和测试，把我使用中碰到的一些问题总结一下，希望对大家有所帮助，我也有一些问题没有搞懂，希望和大家一起交流，共同进步。第一：CEPH网上有哪些信誉好的足球投注网站了一些资料，说ceph性能最高，C++编写的代码，支持Fuse，并且没有单点故障依赖，于是下载安装，由于ceph使用btrfs文件系统，而btrfs文件系统需要 Linux 2.6.34 以上的内核才支持，显然我使用的 RHEL5 的内核还不支持btrfs文件系统，于是下载必威体育精装版的内核进行升级，搞了2天没有升级成功，编译一次都要耗费1个多小时才能完成，最后发现必威体育精装版版的ubuntu系统支持btrfs文件系统，于是安装ubuntu的虚拟机，btrfs文件系统搞定了，但是启动ceph的相关进程出错，无法启动成功。所以谈不上对其进行过测试。CEPH中使用了一个比较先进的算法 crush算法，据翻译出来，为分布式基于对象的存储系统设计了一个可升级的伪随机的数据分布函数，它能够有效地管理数据对象和存储设备，而不需要通过一个中心目录。由于大系统都是动态的，CRUSH被设计成为一个当把不需要的数据迁移最小化时，能方便的增加或移除存储设备。这个算法提供了一个大范围的不同种类的数据复制和可靠性机制，以及根据用户自定义的策略来分配数据，这种策略迫使数据复制从故障领域分离出来。另外CEPH使用的文件系统为btrfs，这个文件系统具有很多先进的特性，为下一代Linux使用的文件系统。BTRFS最终可能会给ZFS等带来更多威胁，它具有在线碎片整理功能(只有固态盘有这项功能)、Copy-On-Write技术、数据压缩、镜像、数据条带和快照等等。　　另外，BTRFS在数据存储方面比ext更完善。它包括一些逻辑卷管理和RAID硬件功能，可以对内部元数据和用户数据进行检验和，同时内嵌了快照功能。ext4也可以实现以上一些功能，但是需要与文件系统和逻辑卷管理器进行通信。这么多先进的功能，可惜现在还无法消受啊。。。。。。第二：glusterfs网上说glusterfs比较不错，稳定，适合大型应用，关键是没有单点故障依赖，C语言的代码，支持FUSE，于是下载安装研究。安装配置还算简单，启动后进行测试。开始感觉确实不错，很爽。后来用压力测试工具对其吞吐量进行测试，发现性能不能满足我们的生产需求，不知道是哪里的配置问题，我们测试的都是大文件的读操作和大文件的写操作，吞吐量在 5MB/秒左右，显然不能满足要求。但是没有找到具体的瓶颈，毕竟程序是别人写的，要查瓶颈也不容易。关于glusterfs的详细的资料，可以看这位弟兄的文章，他做的比较深入? 。/?cat=22第三：moosefs这个网上说性能不错，有单点故障依赖， C代码编写，支持FUSE，下载试试吧。安装配置还算简单。很快就搭建好环境了，于是进行测试。测试性能还不错。吞吐量在15MB/秒以上。第四：mogilefs?网上说这个是性能最高的，不过是perl编写的代码，对外提供API来进行使用，搭建相对比较复杂一点，因为需要安装很多依赖的第三方perl包，另外还要安装Mysql数据库来支持。安装完毕后，服务器端起来了，客户端有JAVA， PHP,? PERL, RUBY 等开发的，我需要的是要支持 FUSE 的，但是这个分布式的文件系统，对FUSE的支持需要安装一个PERL与C通信的模块，这个模块死活编译不过去，最后无法测试成功，无奈只能有时间了继续研究。第五：fastDFS网上说是“国人在mogileFS的基础上进行改进的key-value型文件系统，同样不支持FUSE，提供比mogileFS更好的性能”，这不是扯蛋吗？Mogilefs是perl写的，如果fastDFS是在mogilefs的基础上改进的话，应该也是perl写的，但是下载了fastDFS的代码后，人家都是C的代码，怎么可能是在mogilefs的基础上改进呢？看了一下fastDFS具体的结构，准确的说应该是“借鉴了MogileFS的思路”，而不能说“在MogileFS的基础上改进”。我安装了一下，安装还算简单，不支持fuse，上传文件后会生成一个http的下载地址，通过http的方式进行下载。这种方式显然不适合我想要的生产环境。下面是一个网友写的FastFDS和MogileFS的对比文章，感觉比较客观真实，所以在这里给大家转帖一下。FastDFS设计时借鉴了MogileFS的一些思路。FastDFS是一个完善的分布式文件存储系统，通过客户端API对文件进行读写。可以说，MogileFS的所有功能特性FastDFS都具备，MogileFS网址：/mogilefs/。另外，相对于MogileFS，FastDFS具有如下特点和优势：1. FastDFS完善程度较高，不需要二次开发即可直接使用；2