云计算平台上数据管理技术及应用.docVIP

云计算平台上数据管理技术及应用 　　摘要：在信息技术飞速发展的今天，云计算平台得到了广阔的发展空间。本文中，笔者立足实践，分析了云计算平台上的数据管理技术，探究了云计算平台上数据管理技术的应用，以期云计算平台的作用能够得到最大的发挥 关键词：云计算平台；数据管理技术；应用 中图分类号：TP3 文献标识码：A 文章编号：1009-3044（2017）08-0031-01 信息时代背景下，信息技术、互联网已经被广泛地运用到社会的各个领域，而云计算平台随之产生。元计算平台不仅具有储存数据的功能，还具有计算数据节点的能力，它主要由三部分内容组成，分为为：数据管理、数据存储、分布式计算。在新时期背景下，云计算平台需要具有非常强大的数据存数功能，因此当前云计算平台往往会采用分布式结构化数据存储系统。简单来讲，就是将每一个数据复制成为多个副本，且将每一个副本都放置在分布式系统上 1数据管理技术 云计算平台上往往会储存大量的数据，并且数据会时时刻刻都发生变化，换言之，云计算平台上，一般都是新的数据替换旧数据的过程，可以称之为一个动态的数据库。云计算平台的数据管理一般会采取“数据领域中储存”的管理模式，具体来讲，就是将表按照列进行划分存储。例如，Bigtable是由Goo#e开发的分布式储存系统，它并没有具有任何全新的技术，而是将之前的技术进行了融合，虽然它具有与数据库有相似之处，但并非真正意义上的数据库。Bigtable数据的模型具体如图1 通过图1可以发现，Bigtab～中数据的排列顺序是按照关键词的字典顺序进行排列的，同时还对行进行了动态的划分，更能够将记录存放于记录板中。另外，Bigtable中的存储权限控制是由列组粒度中进行的，而列组往往有若干个列组合而成。每一个表示数据不同版本的时间就是一个六十四位的证书 2数据管理应用 2.1Hadoop分布式文件系统 HDFS一般会采用master/slave架构，它的集群往往是由Namenode、Datanode两部分组成。该系统中，Namenode的主要责任就是文件系统的namespace、客户端对文件的访问，可以说是该系统的中心服务器；Datanode的主要责任就是管理每个节点上附带的储存，而且该系统中每一个节点就会有一个对应的，且存在于集群中。?哪诓拷嵌壤唇玻?每一个文件都会分为block，可以是一个也可以是多个，但是却都会储存到Datanode的集群中。进行“namespace”操作就是某个block具体到“Datanomde”节点的映射，同时还必须要认清楚Datanode是在namespuce的指导下进行工作的，主要是复制、保存或者删除block 通过对比BDFS与其他文件系统发现，任何的文件系统，用户都可以穿件数据自己的目录，并根据自己的实际需求进行创建、删除、重命名等操作，但是HDFS既不支持访问权限，也不支持user quoter，更不支持与link进行连接。在具体的操作过程中，Namenode对namespuce具有维护作用，因为无论任何因素影响下，文件系统nam espace的任何操作都会被Namenode一一记录下来，而且特别清晰。另外，在具体的应用过程中，还能够根据实际的需求，设置HDFS保存文件副本的数据 2.2Mamenode编程 Mamenode是一种计算模型，对于HAdoop来讲，它是核心的计算模型。Mamenode能够将抽象、复杂、大规模的计算转化成为Map、Reduce两种函数，它是一个简单、神奇且威力巨大的模型。运用Mazenode的过程中，该编程中出现的其他复杂问题，往往也都是由Mazenode进行处理，因为这是Mamenode的责任。运用Mazenode模型时，能够减少程序员的工作难度，它往往就是便携一个简单的分布式并行程序，整个过程中程序员的编码工作都是为了实现Map和Reduce函数 程序框架： Class MR， Class Map…{} ClassReduce…{} main（）{ Job Conf conf=newJob Conf（”MR.class”）； confset InpmPath（”the_path_of_HDFS”）； conf.setMapperClass（Map.class）； conf.set Reduce Class（Reduce.class）； Job Client.run Job（conf）； }} 3结束语 综上所述，当前云计算平台的数据管理系统已经得到了广泛的应用，但是由于受到各种因素的影响，并未取得理想的效果。通过调差，其中数据管理技术不能够满足云计算平台的需求，更未能够应付云计