GPFS技术在中央电视台制作业务系统中应用与实现.docxVIP

GPFS技术在中央电视台制作业务系统中的应用与实现[作者：中央电视台刘玓]????从2002年至今，中央电视台先后完成了面向新闻制作的业务系统、面向节目存储的音像资料馆系统以及面向体育节目制作和播出的业务系统等。2003年底中央电视台联合松下公司、大洋公司开始共同建设基于P2半导体存储技术的经济频道节目制作业务系统一期。????本系统首次采用了GPFS+千兆以太的网络存储架构来实现各种业务数据的存储及传输，这在中央电视台以至国内广播电视行业内均属先例。该网络存储架构的传输链路完全基于千兆以太技术，并通过以太捆绑技术充分保证传输带宽和传输安全。经实际运营阶段的观察，其性能满足系统原设计预定指标并存在相当的扩展裕度。????一 GPFS定义及框架????GPFS——General Parallet File System，即通用并行文件系统。????基于AIX或linux操作系统的并行文件系统（GPFS）允许使用者共享分布在多个节点和多个磁盘上的文件。它允许并行的应用程序同时从GPFS 节点组（nodeset）中的任何节点访问相同或不同的文件（节点组 nodeset 被定义为一组运行相同版本GPFS的节点）。????图1为其基本框架。????????二优点及特性????1. 高性能的并行文件系统????GPFS文件系统的设计目标就是使数据分布在一个集群中的所有节点上，允许应用程序通过标准的UNIX文件系统接口来访问数据。大多数的UNIX文件系统被设计在单一服务器环境下使用，在这一环境下，增加文件服务器也不会提高特定的文件存取的性能。GPFS 被设计成通过将I/O分布在多个硬盘提高性能，通过日志和复制的方式提高可靠性，和通过增加节点的方式提高系统的可扩展性。基于其特性，可以将其应用到中央集中存储架构当中，这就使得我们的系统能够承担成千上万的高码率并发冲突。将服务器以及存储本身的节点连接起来的技术，使得广播电视行业用户在视音频制作的时候可以应用本身的高吞吐量和高数据。????2. 虚拟化的分区????经济频道节目制作业务系统在设计中要求采用开放标准的存储架构，使得系统可以支持层级存储。本系统中设计了节目在线制作存储区、媒体资产在线缓冲区和基于数据流磁带库的近线存储区。????而GPFS分区化管理在存储本身是逻辑化的，而非物理化。数据文件的存储位置和数据文件本身位置指针关联，这就使得数据文件根据工作流模式在分区间进行迁移的时候，并不是真正数据拷贝迁移，而是数据文件本身位置指针内容的改变。????虚拟化分区的特性使我们能够将数据文件本身和工作流程的关系分离，意味着不需要在存储管理流程设计的时候把工作流程和数据文件紧紧的捆绑起来，不需要因为迁移管理服务器的服务器主机性能、网络带宽限制或者安全等因素制约，而增加成本。并且在GPFS存储的两级数据迁移效率得到大幅提升。通过图2可以简单的表达刚才提到的含义。????????3. 冗余性????GPFS在文件结构表上对于存储数据本身和文件系统本身是共存的结构，这一特点使得访问和锁定对于节点永远是可用的，所以基本不存在单点故障的可能性，其安全性和可靠性在文件系统级别上已经能够得到保证。????4. 同质性????客户端无论是NIFS系统或者是苹果的AFP系统的文件协议，或者是CIFS的系统，对于GPFS这样的文件系统来讲都是等同性的，所以它们可以用同样的结构访问GPFS文件系统。????5. 缓存管理????每一个GPFS的节点都有独立的缓存管理空间，使得不同客户端通过不同的节点访问时，都有自己的缓存空间，令访问速度大大提高。????6. 支持SANergy客户端????同时支持SANergy和非SANergy客户端。????三系统实际运行状态????如图3所示。????????此次经济频道节目制作业务系统一期使用两个 IBM P630服务器作为GPFS节点，AIX操作系统。每个GPFS节点配备8个以太网网卡，作为一组捆绑，通过以太网络和前端工作站连接。GPFS节点后端通过FC Channel（每个节点6个FC HBA）连接后台存储。另外，为了部署便捷以及传输性能需求，CCTV首次使用了10G以太网技术，作为传输主链路，用于GPFS核心、各类服务器和工作站的通信和数据传输。????GPFS服务器本身的高性能、节点捆绑满足高并发量数据读写特点，此系统两个GPFS节点可为工作站提供3Gbps的极限并发写带宽和4Gbps的极限并发读带宽。很好的满足了这些工作站实时编辑、实时上下载功能。????系统实际运行过程中，GPFS结合千兆以太网络的存储架构很好地支持15 台精编（每台读带宽150Mbps）、6台上载（每台写带宽50Mbps）、4台配音（每台读带宽150Mbps）、3套演播室录制（每台写带宽50Mbps