mossefshadooplusterpanasas分布存储.pptxVIP

Linux文件系统 演示主要内容： Linux vfs Linux（ext2）文件访问机制 Linux（ext3）日志功能 Linux文件系统（ext2/ext3）数据不一致的处理 认识几种分布式文件系统 虚拟文件系统 为了支持其他各种不同的文件系统，Linux提供了一种统一的框架，就是所谓的虚拟文件系统转换（Virtual Filesystem Switch），简称虚拟文件系统(VFS)。 Vfs 与文件系统关系 逻辑文件系统 整个文件系统示意图 Inode和数据区？？ 读取/etc/crontab的流程 目录/etc的inode 文件crontab的inode 目录/etc的块区域关联性内容 文件/etc/crontab的实际内容 Inode总结 Inode：记录文件的相关属性，以及文件内容放置在哪一个块内。换句话说，inode除了记录文件的属性外，同时还必须要具有指针的功能， Inode  记录的一些信息;  该文件的拥有者与用户组 该文件的访问模式 该文件的类型 该文件的建立，改变，最近一次读取时间，最近一次的修改时间。 该文件的大小 该文件的属性标志 该文件的真正内容指针。 数据与元数据 Inode表与块区域成为数据存放区。 其他的诸如超级块，块位图与inode位图等记录成为元数据。元数据记录数据（属性）的数据。 数据的不一致问题 文件写入硬盘时，未知原因导致系统中断，就会发生元数据与数据的不一致情况。 如何处理？？ EXT2:系统重启时通过超级块记录的有效位与文件系统状态等，判断是否强制进行数据检查。 EXT3 的日志功能 1. 系统要写入一个文件的时候，先在日志块中记录：某个文件要写入磁盘了。 2. 开始写入文件的权限与数据。 3. 开始更新元数据的数据。 4. 完成数据与元数据的更新后，在日志记录块中完成该文件的记录。 使用日志文件系统好处 文件的安全提高了，文件被破坏的机率降低了，对磁盘的扫描时间缩短了，扫描次数减少了。当系统意外宕机后，不会再有文件内容的丢失，至少文件应该保持上一个版本的内容；采用日志文件系统，通常系统每重新启动20－30次后，才会对磁盘进行一次整体扫描，扫描次数减少了。 日志增加了文件操作的时间，但是，从文件安全性角度出发，磁盘文件的安全性得到了重大的提高。网友对日志文件系统进行了测试，日志文件系统的性能并不比ext2文件系统有太大的性能损失，有的日志文件系统由于采用B+树算法，在操作一些大尺寸的文件时，性能反面比非日志文件系统的性能还要好。 什么是分布式文件系统 数据、文件分散存储到不同的物理设备 文件、数据被块 文件读写并行 低成本 Hadoop 是什么 Hadoop：一个基于MapReduce的相当成功的分布式计算平台 MapReduce的思想是由Google的一篇论文所提及而被广为流传的，简单的一句话解释MapReduce就是任务的分解与结合的汇总。 MapRecuce可以将被划分成多个小的Block的海量检索数据以分布式的方法局部计算，并应用Map将他们映射到一个提供Reduce的中心上。从而达到快速处理海量数据检索的目的。然而Map和Reduce不仅仅只是可以检索，事实上修改MapReduce的部分细节，就可以利用MapReduce实现更广泛的应用。 hadoop三个子项目 HDFS、MapReduce和HBase三者相辅相成、各有长处 HDFS - 最大化利用磁盘 MapReduce - 最大化利用 CPU HBase - 最大化利用内存 MapReduce 和 HBase 都将数据存储在 HDFS，而且 HBase 还利用了 MapReduce 的计算能力。而 Pig 和 Hive 则为更高层的建筑，降低了使用 Hadoop 的门槛，提高了 Hadoop 开发的效率。ZooKeeper和Com-mon 成员可以说是地基，是为上层建筑（包括高层）服务的。 Hadoop 的线性扩展性，体现在以下几个方面： （1）存储扩展性，即 HDFS 的扩展能力 （2）计算扩展性，即 MapReduce 的扩展能力，受束于计算均衡性 （3）Master 节点扩展性，主要是 Master 的处理能力和元数据存储能力 Hadoop 优点 1． 可扩展 不论是存储的可扩展还是计算的可扩展都是Hadoop的设计根本，能可靠地（reliably）存储和处理千兆字节（PB）数据。 （hadoop支持的节点数是1,000,甚至更多，在这个大范围内，可以任意的添加和删除，也就是在 分布式文件系统中的可伸缩性，有master node 统一命名空间，URI的先进思想，使的任何的添加或删除对于应用来说都是透明的。即使是HDFS中的文件经常由于节点的失效、增加或者repl