基于MapReduce计算模型的气象资料处理调优试验-中国云计算.PDF

第 卷 第 期 应 用 气 象 学 报 ， ２５ ５ Ｖｏｌ．２５ Ｎｏ．５ 　 年 月 　　　　　　 　 　 　 　　　 ２０１４ ９ ＪＯＵＲＮＡＬ ＯＦ ＡＰＰＬＩＥＤ MＥＴＥＯＲＯＬＯＧＩＣＡＬ ＳＣＩＥＮＣＥ Ｓｅ ｔｅｍｂｅｒ ２０１４ 　 ｐ 杨润芝，沈文海，肖卫青，等 基于 计算模型的气象资料处理调优试验 应用气象学报， ， （）： ． Mａ Ｒｅｄｕｃｅ ． ２０１４ ２５ ５ ６１８-６２８． ｐ 基于Ma Reduce计算模型的气象资料处理调优试验 p １）* １） １） １） １） １） ２） 杨润芝 沈文海 肖卫青 胡开喜 杨 昕 王 颖 田 伟 　 　 　 　 　 　 　 　 　 １） ２） （国家气象信息中心，北京 １０００８１） （南京信息工程大学，南京 ２１００４４） 　 摘 要 　　 云计算技术使用分布式的计算技术实现了并行计算的计算能力和计算效率，解决了单机服务器计算能力低的 问题。基于长序列历史资料所计算得出的气候标准值对于气象领域实时业务、准实时业务及科学研究中均具有重 要的意义。由于长序列历史资料数据量大、运算逻辑较复杂，在传统单节点计算平台上进行整编计算耗时非常长。 该文基于 Ｈａｄｏｏ 分布式计算框架搭建了集群模式的云计算平台，以长序列历史资料作为源数据，基于Mａ Ｒｅｄｕｃｅ ｐ ｐ 计算模型实现了部分整编算法，提高计算时效。同时，由于数据源本身具有文件个数多、单个文件小等特点，对数 据源存储形式及数据文件大小进行改造，分别利用 Ｓｅ ｕｅｎｃｅＦｉｌｅ方式及文本文件合并方式对同一种场景进行计算 ｑ 时效对比测试，分别测试了 个文件合并、 个文件合并两种情况，使时效性得到了更大程度的提升。 １０ １００ 关键词：Mａ Ｒｅｄｕｃｅ；云计算；Ｈａｄｏｏ ；历史资料整编 ｐ ｐ ［］３ 目是 ＮＡＳＡ 的一个开源的云计算项 目 ，Ｎｅｂｕｌａ 引 言 可以随时为 ＮＡＳＡ科学家和工程师提供所需的数 　 据处理计算资源，从而替代了需要额外建造数据中