基于Hadoop云计算平台设计与开发.docVIP

基于Hadoop云计算平台设计与开发 　　摘要：随着北部湾海洋生态资源的开发和利用，海量海洋科学数据飞速涌现出来，利用云计算平台合理管理和存储这些科学数据显得极为重要。本文提出了一种基于分布式计算技术进行管理和存储海量海洋科学数据方法，构建了海量海洋科学数据存储平台解决方案，采用Linux集群技术，设计开发一个基于Hadoop的云计算平台。 　　关键词：云计算；海洋科学数据；Hadoop；分布式计算 　　中图分类号：TP311.13文献标识码：A文章编号：1007-9599 (2011) 24-0000-02 　　Hadoop-based Cloud Computing Platform Design and Development 　　Tang Yun1,2 　　(1.Hubei University of Technology School of Computer Science,Wuhan430068,China;2. Lishui City Road Administration Detachment of the Highway Brigade,Lishui323000,China) 　　Abstract:With the development and utilization of marine ecological resources in the Beibu Gulf,the mass of marine scientific data rapidly emerged,the use of cloud computing platform for the rational management and storage of scientific data is extremely important.In this paper,manage and store large amounts of marine science data method based on distributed computing technology to build a massive marine science data storage platform solutions,using the Linux cluster technology,design and development based on a Hadoop cloud computing platform. 　　Keywords:Cloud computing;Marine science data;Hadoop;Distributed computing 　　传统的对大规模数据处理是使用分布式的高性能计算、网格计算等技术，需要耗费昂贵的计算资源，而且对于如何把大规模数据有效分割和计算任务的合理分配都需要繁琐的编程才能实现，而Hadoop分布式技术的发展正解决了以上的问题。Hadoop是Apache开源组织的一个分布式计算框架，可以在大量廉价的硬件设备组成的集群上运行应用程序，构建一个具有高可靠性和良好扩展性的并行分布式系统，HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）、MapReduc编程模型和HBase分布式数据库是其三大核心技术。 　　一、平台总体设计 　　（一）平台总体框架结构 　　结合海量数据异构性、分布性、多样性等特点，从系统编程实现角度考虑，本系统采用MVC三层架构设计，使结构更加清晰，系统易于扩展。系统整体架构如图1所示： 　　 　　图1平台整体框架结构 　　显示层：为用户提供方便、易用和友好界面，普通用户可以通过页面浏览和查询海洋数据，高级用户可以利用系统提供的公共API接口，扩展系统。 　　业务处理层：并行处理海量海洋科学数据，并对整个平台系统配置管理。 　　数据资源层：是整个平台的基础，存储和管理海量海洋科学数据。 　　（二）平台总体功能设计 　　从系统功能角度考虑，可以将整个系统分二层： 　　第一层是数据访问层。对于海量数据存储，在存取数据时不会只局限对一种数据库的操作，本层需要对各种数据库提供的不同数据源进行屏蔽，提供数据库访问服务，这样系统才能够适应处理存储海量数据的要求，具有较好的可扩展性和完备性，方便管理和部署。 　　第二层是数据处理层。数据处理层作为整个系统的核心，同时也是本系统设计开发的重点内容。它采用分布式数据库技术、Linux集群技术等，提供了对海量数据的并行加载存储等主要功能。只有通过这一层对海量数据并行处理，才能把处理后的数据存储到本系统的分布式数据库中。同时提供了保证系统能够正常运行的管理支撑服务。 　　二、云计算