在矿区信息监测管理中云计算起到的作用.docVIP

在矿区信息监测管理中云计算起到的作用 　　1云计算技术概述 　　云计算是一种商业计算模型，它将计算任务分布在大量计算机构成的资源池上，使用户能够按需获取计算能力、存储空间和信息服务，这些资源池称为“云”。“云”是一些可以自我维护和管理的虚拟计算资源，通常是一些大型服务器集群，包括计算服务器、存储服务器和宽带资源等。 　　目前，云计算技术已成为了IT产业的关注焦点，得到了各大主流公司的支持。包括Google.微软、IBM、Amazon在内的许多IT业巨头都在云计算上进行了重点研究。例如，Google的云计算基础架构模式包括4个相互独立又紧密结合在一起的系统:Google File System分布式文件系统(Sanjay Ghemawat等，2003)、针对Google应用程序特点提出的MapReduce编程模式 (Jeffrey Dean等，2004)、分布式锁机制Chubby (Burrows M, 2006)以及Google开发的模型简化的大规模分布式数据库BigTable (Fay Chang等，2006)。 　　云计算在学术研究方面也取得了重大进展，这主要包括两个方面:一是分布式平台基础设施的构建，另一个是云计算分布式平台的开发编程。在分布式平台的基础设施研究上，主要包括微软的Dryad框架、Amazon公司的Dynamo框架和Ask. com公司的Neptune框架(DeCandia等，2007)。 　　2 Hadoop云计算关键技术分析 　　Hadoop是MapReduce的开源实现，是著名的开源组织Apache开发的一个开源云计算系统，是目前在学术和工业界应用较为广泛的云计算软件。Hadoop起源于Apache的另外两个开源项目:全文检索软件Lucene和Web有哪些信誉好的足球投注网站系统Nutch。Hadoop的主要模块开始是包含在Nutch软件中，主要用于提高开源Web有哪些信誉好的足球投注网站引擎性能和扩展性。从Nutch 8. 0开始，Hadoop逐渐独立形成一个开源项目，并得到迅速的发展。Hadoop的关键技术包括HDFS分布式存储技术、HBase数据管理技术、MapReduce编程模型。 　　2. 1 HDFS分布式存储技术 　　为保证数据的高可用、高可靠和经济性，Hadoop的数据采用HDFS分布式文件系统进行存储。山于HDFS的开源优势，目前有很大一部分IT厂商，包括yahoo!.Intel、阿里巴巴的云存储计划采用的均为HDFS的数据存储技术。 　　HDFS系统是受Google文件系统(Ghemawat等，2003)启发，是建立在大型服务器集群上可以安全可靠地存储海量数据(可以达到TB甚至PB级)的文件系统，具有高度容错性。它可以和MapReduce编程模型很好的结合，是分布式计算的存储基础。 　　一个HDFS集群是山一个名称节点(Namenode)和一定数目的数据节点(Datanodes)组成。名称节点是一个中心服务器，负责管理文件系统的命名空间 (Namespace)以及客户端对文件的访问的元数据。数据节点在集群中一般是一个节点一个，负责管理它所在节点上的实际数据的存储。客户端联系名称节点以获取文件的元数据，而真正的文件工I/0操作是直接和数据节点进行交互的。 　　2. 2 HBase数据管理技术 　　与关系型数据库不同，HBase是按照“列”存储的稀疏列/行矩阵，表内数据非常“稀疏”，不同行、列数据可以大不相同。在HBase数据库中空的数据单元不占用任何存储空间，这种技术特点使得HBase特别适合管理具有稀疏特征的大型数据表。按照互联网地图发布的要求，栅格数据按照分辨率分为若干层，每一层都包含大量的栅格地图图片数据，数据从数百个乃至上千万个，每层包含的图片数量存在巨大差异。这就导致每个数据库表中必定有大量单元是没有数据的，是一个非常稀疏的表格，所以适合使用HBase存储和管理瓦片地图图片数据。HBase物理模型是把逻辑模型中的一个“行”进行分割，并按照“列族”存储。 　　2.3 MapReduce编程模型技术 　　MapReduce编程模式由Google于2004年开发，用于在超大集群下进行T级以上海量数据的计算处理。它以Key-Value对的思维方式来考虑问题，开发人员只需要写Map和Reduce两个操作就可以简单快速的处理海量的数据。HadoopMapReduce引擎由JobTracker(作业服务器)和Task Tracker(任务服务器)组成。 Job Tracker (Google称为Master)是负责管理调度所有作业，它是整个系统分配任务的核心。Task Tracker具体负责执行用户定义操作，每个作业被分