GoogleiFleSystem.pptxVIP

Google File System Google文件系统 什么是Google File System（GFS）？ GFS是一个可扩展的分布式文件系统，用于大型 的、分布式的、对大量数据进行访问的应用，它是Google的十个核心技术之一。 由于有哪些信誉好的足球投注网站引擎需要处理海量的数据，所以Google的 两位创始人Larry Page和Sergey Brin在创业初期设计一 套名为“BigFiles”的文件系统，而GFS这套分布式文件系 统则是“BigFiles”的延续。 GFS构架 GFS主要分为两类节点： 1） Master节点：主要存储与数据文件相关的元数据 2）Chunk节点：存储Chunk（数据块） GFS特点 在设计上，GFS主要有八个特点： 大文件和大数据块：数据文件的大小普遍在GB级别，而且其每个数据块默认大小为64MB，这样做的好处是减少了元数据的大小，能使Master节 点能够非常方便地将元数据放置在内存中以提升访问效率。 操作以添加为主：因为文件很少被删减或者覆盖，通常只是进行添加或者读取操作，这样能充分考虑到硬盘线性吞吐量大和随机读写慢的特点。 支持容错：每个Master都会有其相对应的复制品，可在 Master节点出现问题时进行切换；并可处理Chunk节点失效的问题 GFS特点 高吞吐量：虽然其单个节点的性能无论是从吞吐量还是延迟都很普通，但因为其支持上千的节点，所以总的数据吞吐量是非常惊人的； 保护数据：文件被分割成固定尺寸的数据块以便于保存，而且每个数据块都会被系统复制三份； 扩展能力强：因为元数据偏小，使得一个Master节点能控制上千个存数据的Chunk节点； 支持压缩：压缩率高，节省硬盘空间； 用户空间：便于开发和测试，还能更好利用Linux的自带的一些POSIX API GFS现状 现在Google内部至少运行着200多个GFS集群，最大的集群有几千台服务器，并且服务于多个Google服务，比如 Google有哪些信誉好的足球投注网站。但由于GFS主要为有哪些信誉好的足球投注网站而设计，所以不是很适合新的一些Google产品，比YouTube、Gmail和更强调大规模索引和实时性的 Caffeine有哪些信誉好的足球投注网站引擎等，所以Google已经在开发下一代GFS，代号为“Colossus”，并且在设计方面有许多不同，比如：支持分布式 Master节点来提升高可用性并能支撑更多文件，chunk节点能支持1MB大小的chunk以支撑低延迟应用的需要。 GFS与其它部分关系 GFS跟Google中其他部分的关系需要添加