大数据时代的气象服务应用分析.docVIP

精品论文 参考文献 大数据时代的气象服务应用分析 山西省晋城市气象局 山西晋城 048000 摘要：随着气象信息化进程的不断加速，气象行业内部累积的历史气象数据不断增加。目前，我国国家气象局保存的气象数据总量达到PB级，且每年新增加的数据量也接近PB级。气象数据包含丰富的数据种类，包括地面观测、卫星、雷达和数值预报产品等不同种类的观测和气象产品数据，且通常通过观测站点收集。目前，我国拥有自动监测站点50000余个、地面气象观测站点2000余个以及其他各类观测站点千余个。由这些气象观测站点所采集的历史数据以及实时气象数据构成了气象大数据。本文分析了气象服务的应用。 关键词：大数据；气象服务；应用分析 1导言 气象大数据蕴含丰富的应用和研究价值，可以提供各类气象服务，包括气象部门内部业务服务、科研服务和公众服务等。气象部门内部业务服务主要指针对气象部门工作人员提供的各种服务，如气象数据查询、预报产品制作、气象数据入库等功能；而气象科研服务主要指利用气象大数据进行数值分析、气象灾害风险评估等升值服务功能；公共气象服务主要指对气象观测大数据进行处理和分析，进而惠及人们日常生产、生活以及其他行业，包括海洋、农业、交通等。目前对大数据管理、高可靠存储、分析、处理以及检索等面临着着巨大的技术挑战。 2如何看待大数据 2015年9月5日，《国务院关于印发促进大数据发展行动纲要的通知》正式发布，在全社会引起广泛影响。在此前后，社会上的大数据浪潮汹涌澎湃，推动和裹挟着每一个行业、部门和企业。一些单位和部门急于“抢占大数据制高点”，纷纷出台了一系列政策、措施、机构和项目；气象部门也未能例外，以气象大数据为名上项目、搞工程的苗头已经出现。如何认识大数据，大数据是否适用于气象部门，以及适用于哪些领域，是气象部门决策机构需要思考、分析和综合归纳的问题，因为这些问题的厘清有助于尽可能避免工作中的盲目性并减少失误。 3气象大数据服务框架 （1）基础设施层。基础设施层主要用于存放和处理气象大数据的物理设施，包括主机、存储、网络设备、照明系统、制冷系统以及数据中心场地等。在云计算环境下，需要对原有的基础设施层硬件进行云化处理，形成基础设施资源池，并且基础设施池的计算资源和存储资源可以动态伸缩地提供给气象内部业务人员和科研人员使用，以实现资源的整合，大大提高资源利用率。 （2）平台层。平台层主要是利用云计算中的主要技术在基础设施层的基础上实现平台的搭建。可以使用Hadoop分布式文件系统实现分布式文件冗余存储；使用分布式数据库HBase实现动态气象大数据分布式数据索引；使用分布式计算模型MapＲeduce实现数据并行计算；使用数据仓库Hive实现静态气象数据的存储与便捷索引。平台层搭建完成后，能够为应用层提供技术支撑。 （3）应用层。应用层主要利用平台层提供的软件工具进行应用的开发（存储与数据处理相关），主要包括站点监控等功能、云平台监控与管理、气象服务。 站点监控主要是对气象监测点以及监测设备进行管理和监控，包括站点信息管理、设备信息管理、数据源状态监控等；云平台监控与管理主要对区域气象数据中心的服务器节点进行动态监控与管理，包括节点管理、能耗监控、节点信息管理等；按照不同的应用需求提供气象服务，包括部门业务功能（数据查询、数据审核、数据入库等）、预报产品制作、公共气象服务（产品发布、灾害预警等）、科研服务（数值预报等）。 （4）大数据服务层。大数据服务层主要根据应用层开发的不同种类应用提供气象大数据服务。如站点监控与云平台监控这2个功能，主要利用基于HBase的实时数据检索为气象部门提供气象业务服务；而数值预报与预报产品的制作可以利用分布式数据处理模型MapＲeduce进行气象数据分布式处理，进而提供气象科研服务以及公共气象服务等。 （5）用户层。气象大数据服务的用户主要包括气象行业内部人员（业务部门）、气象科研人员（科研部门）、相关行业人员（其他行业）。气象行业内部人员可以通过气象行业内部网络访问气象大数据服务；气象科研人员通过互联网获取部分权限数据；而相关行业人员可以通过互联网获取相关预报产品。 4计算剖析是气候部门常用的方法 探求科学机理是非常艰难的。在没有把握科学机理的情况下，计算剖析是常用的预告方法，如气候范畴里的气候计算猜测。这种经过对长期序列气候观测材料进行计算剖析，以历史上类似气候现象所发作的气候（或气候）改变的概率为根据，进行气候猜测的方法，自气候学科发端之日起，便一直在选用，已达数十年之久。因而“大数据”所推崇的计