高性能分布计算的数据管理与优化.pdfVIP

第34卷 第l3期 计 算 机 工 程 2008年7月 11oL34 No．13 Computer Engineering July 2008 · 软件技术与数据库· 文章编号：100o-3428(20o8)13—_0064一I3 文献标识码：A 中圈分类号 TP338．6 高性能分布计算的数据管理与优化 魏文国 ，谢桂园 (1．广东技术师范学院电子与信息学院，广州 510665；2．广东技术师范学院培训中心，广州510665) 摘 要：在高性能计算程序对海量分布存储数据的操控中，有效的数据管理很重要。该文提出一个新的高性能分布计算的数据管理与优化 系统，它包含一个元数据管理系统和存储系统，提供一个容易使用且能自动进行存储访问优化的平台。该平台采用的多存储资源体系结构 能够满足性能和存储容量需求，并能自适应地利用当前的I／O优化方法。 关键诃：高性能计算；海量存储；并行文件系统；元数据管理；访问优化 Data Management and Optimization in High Performance Distributed Computing WEI Wen-guo ．XIE Gui-yuan (1．College ofElectronics and Information，Guangdong Polytechnic Normal University，Guangzhou 510665； 2．Training Center，Guangdong Polytechnic Normal University，Guangzhou 5 10665) [Abstract|Effective data management is an important issue with more and more scientific applications manipulating massive distributed secondary—storage，this paper presents a novel application development architecture which includes a Meta Data Management System(MDMS)and Storage Systems(SS)that provide a platform for easy·to—use and automatic storage access optimizations．It adopts a novel multi—storage resource architecture that Can satisfy both performance and storage capacity requirements，and employs an adaptive I／O optimization schemes． [Key words I high performance computing；massive storage；parallel file system；meta data management；access optimization 1 概述 和前置(prestage)等I／O优化技术的好处。用户程序也可以发 很多大规模的科学应用程序是数据密集的，它们产生大 送访问线索(hints)给MDMS，由MDMS根据数据存储的布局 量的数据并给计算科学家带来很多问题，有效的数据管理对 决定最好的I／O策略。该系统与以前平台的最大不同在于它 开发大规模科学应用至关重要。大规模数据管理的增长需要 能提供磁盘和磁带数据的智能访问方法。 新的方法来组合既有的解决方案，举例来说，并行文件系统 可能对特定I／O访问模式的应