分布式文件系统设计.ppt

分布式文件系统 概念 基本问题 实用的分布式文件系统例－－nfs 分布式文件系统中的关键技术 概念 把分散在整个网络中的文件系统资源以统一的视点呈现给用户 分布式文件系统中的基本问题 DFS（distribution file system)是建立在C/S技术之上的；一个或多个文件服务器与客户机协同操作。由于控制分布，一些集中式系统中容易解决的问题变得复杂，如共享，数据安全，透明性等。 共享性 UNIX文件系统具有单一现场的语意，文件的任何细微变化都是立即可见的。 分布式文件系统中，一般采用打开/关闭规则。文件打开时，对其更新才是可见的，文件关闭时，改变的信息才会被传播。 共享性 必须考虑并发写共享所设计到的一致性问题 有客户机缓存时，实现写共享特别困难(设计中不考虑缓存一致性)。 安全性 数据的私有性 分布式文件系统由于地域和时域的要求使得UNIX的措施对文件保护不力。 冲突时的数据恢复 失效的恢复问题 日志 备份 透明性 象集中分布式管理方法，给用户的界面是一个完整统一的文件系统 体现在位置透明、并发透明、故障透明等几方面 位置透明 并发透明：多个用户同时对同一文件操作而不会引起文件的不一致 故障透明：故障不会引起文件的不一致 扩充性与性能 扩充对性能会有影响 若系统的任一部分都必须知道其它部分的状态，则当规模增大时，系统的复杂性将很复杂。 命名 达到透明性，在不同的客户机可以用同一个视点看待整个文件系统。 NFS 根据抽象额RPC定义NFS，同时用自由可用的RPC包实现了NFS。 NFS包括一个叫XDR的外部数据定义语言，它可在由异构的硬件和软件组成的计算机系统中传送结构信息。 NFS实现机制 每个VFS的文件操作作为底层文件系统的一个过程调用来实现。在NFS中，该过程调用是作为文件系统用户到NFS服务器的一个RPC而实现。 服务器处理请求时，要执行本地文件系统的调用，并将状态、数据和操作返回给提出请求的客户机。 NFS客户机和服务器问题 NFS每个请求都可以独立地被处理，服务器不必用状态控制，不必为NFS用户保持状态信息。 无状态控制服务器的主要优点在于它简化了失效修复过程。 无状态使得正确地存储比较困难。客户缓存了文件服务器一无所知。 分布式文件系统设计 软件描述 本文所描述的分布式文件系统（内部研发代号XFS）是开发的基于Linux的分布式文件系统，它基于局域网连接，主要用于分布式服务器之间共享数据。为满足分布式服务器对可靠性的特殊需求，本系统具有数据冗余能力，并有较高的可靠性 。 软件结构 软件结构 XFS由9个相对独立的程序模块组成，它们是XFS操作集、副本表、副本管理、共享区管理、同步更新、网络锁、系统日志、节点管理器和分布式通信。 软件结构 XFS操作集：按Linux文件系统标准操作集规范实现xfs操作集。 副本表：维护系统副本信息；维护拥有副本的文件的 路径信息； 副本管理：文件副本的创建、删除；提供副本位置信息；检查副本表、副本一致性； 共享区管理 ：添加共享区、删除共享区；提供本地共享区对共享目录的解析服务； 同步更新 ：同步更新同一个文件的所有副本； 网络锁 ：提供分布式锁机制；分布式同步互斥机制； 软件结构 系统日志 ：记录系统操作；记录系统调试信息； 节点管理器 ：维护系统节点信息；提供名字服务； 分布式通信 ：分布式消息通信 模块外部设计 功能 接口设计 外部接口 内部接口 功能－XFS操作集 本模块的功能是提供标准的Linux文件系统操作集。Linux的文件系统通常要提供4个操作集， 文件操作集（file operations） 文件inode操作集（file inode operations） 目录inode操作集（dir inode operations） 超级块操作集（super operations）。 XFS将针对XFS文件系统的功能，实现这些操作集中的相关函数。 副本表 XFS中每个节点都在硬盘上保存了一个副本表，记录整个系统的副本位置信息。副本表模块的功能是维护这个副本表。 副本管理 负责文件副本的创建、删除，在启动时刻检查系统中副本一致性，提供副本信息查询接口。 共享区管理 实现共享目录到共享点的映射，负责共享区的添加和删除，保存本地的共享区信息，为目录/xfs提供访问接口。 同步更新 修改拥有副本的文件时，同步修改系统中所有的相关副本。 网络锁 提供面向对象的锁机制，实现分布式同步互斥。 系统日志 记录系统操作，作为一致性检查的依据；记录系统调试信息。 节点管理器 维护系统节点信息，即系统由哪些节点构成，它们的名字和网络地址，这些节点何时加入、何时退出。 分布式通信 分布式消息通信机制。 实现可