一个精细粒度实时计算资源管理系统-中国气象科学研究院期刊网.PDFVIP

第 卷 期 应 用 气 象 学 报 ， １９ ４ Ｖｏｌ．１９ Ｎｏ．４ 年 月　　　 　 　 　 　 　 　　 　 　　 ２００８ ８ ＪＯＵＲＮＡＬＯＦＡＰＰＬＩＥＤＭＥＴＥＯＲＯＬＯＧＩＣＡＬＳＣＩＥＮＣＥ Ａｕｕｓｔ２００８ 　 ｇ 一个精细粒度实时计算资源管理系统 王 彬 宗 翔 魏 敏 　 　　 　 　　 　 （国家气象信息中心计算机室，北京 １０００８１） 摘 要 　　 由于相应业务系统软件的缺乏，国家级气象高性能计算机的资源管理措施落后于能力建设的发展。对此，该 文提出了一个精细粒度实时计算资源管理系统。系统设计紧密围绕着目前竞争最为激烈的计算资源，采用资源虚 拟单元 ＧＣＵ作为资源使用的计量单位，屏蔽了不同高性能计算机系统的体系结构差异，实现了计算资源细粒度的 统一量化统计。系统可分为用户接口层、资源管理层、 系统层等 个层次，根据与网格平台软件不同结合方式 ＨＰＣ ３ 以两种方式运行。在国家气象信息中心完成了系统的研发、部署和试验运行，根据试验运行的部分数据进行了用 户单位和用户个人的计算资源使用的统计分析。目前，计算资源管理系统成果已成功应用到国家级气象高性能计 算机计算资源的业务管理工作中。 关键词：国家级气象高性能计算机资源；资源管理； ；实时；精细粒度 ＧＣＵ 理有据，使资源的分配公平、合理，达到最优的使用 引 言 效果和最高的使用价值。 　 资源管理具体体现在资源使用记账统计与分配 经过多年建设，国家级气象高性能计算机系统 控制两个方面。从目前的资源使用记账上来看，未 能力建设取得了长足的进展。但相对于运算能力的 能实现全局的、综合的、动态的、精细粒度的资源使 提高，计算资源管理却由于缺乏先进的软件工具 日 用记账。现有计算机系统的资源管理没有达到实时 ［］ １ 趋落后，已不能够适应新形势下业务管理的需要 。 记账，粒度粗糙，各自孤立进行，无法获取用户个人／ 国家级气象高性能计算机系统的组成 日趋复 单位在计算系统整体全局的资源统计。另一方面， 杂，从单个孤立同构计算机集群转变为多个集群系 资源分配还处于较为粗放的阶段，用户开通系统账 统构成的异构网格环境。服务用户的数量和范围大 户之后缺乏足够的约束管理机制，出现了资源分配 大扩展，从国家气象中心扩大到所有国家级气象业 不公平、不均匀现象：某些用户长时间占用资源，而 务和科研单位。 使有些用户由于得不到足够的资源而无法完成工 随着天气、气候模式预报精度的提高、物理过程 作；某些时候系统的整体负载非常轻，用户提交作业 的复杂化，以及集合预报样本的增加，导致模式计算 不多，在系统负载重的时候，用户又集中提交作业， 规模越来越大，要求积分时间越来越长，对系统的计 排队等待时间增长，缺乏有力的手段加以约束和引 算能力和存储资源