云计算环境下大规模图数据处理技术研究.docVIP

云计算环境下大规模图数据处理技术研究摘要：云计算是一种新型的互联网相关的应用模式，云计算的腾空出世引导了一场IT产业变革，学术界也针对云计算中所存在的各种情况以及出现的相关问题进行了有效的探索研究，近年来，生物信息网络以及语义Web分析网络等等新兴应用的迅速崛起，提高了大规模图处理功能效用的要求标准，加大了大规模图数据处理技术能力的需求。在此，本文将简要概述分析在云计算环境下所进行的大规模图数据处理技术的相关应用实现。 关键词：云计算大规模图数据处理技术应用分析 近年来，图数据相关的应用以及处理技术的发展历程已经走过了很长的一个阶段，其专业技术理论也逐年在进行调整与完善。随着现代化信息时代的到来，各种各样的信息数据呈快速增长的趋势，从而使得图数据的相关规模也在渐渐扩展变大起来。在云计算环境下，实现大规模图数据处理技术的高效运用是所面临的一个巨大挑战。 一、在云计算环境下，运用大规模图数据处理技术的相关实际优势 图数据作为计算机应用科学中的一类常用的较为抽象的数据表示结构，相较于树以及线性表来说，其在结构以及语义领域的表现更加复杂繁琐一些。图数据的一般性表示能力比较突出。在实际生活中，许许多多应用相应的场景都可以用相关结构来进行有效表示，针对图数据的处理应用充斥在人们生活的方方面面，比如，在传统应用方面，图数据处理技术可以运用在最优运输路线的选择以及疾病爆发缘由探索等等领域，在新兴应用方面，图数据处理技术可以运用在社交网络分析以及生物信息网络分析等等领域。 （一）海量存储 一般情况下，大规模图数据的相关数据量是相当惊人的，其数据量可以高达上百GB，有时候设置可以到达PB级别，使得传统的文件系统以及相应的数据根本满足不了大规模图数据的存储需求。这就突显了在云计算环境下的大规模图数据分布式存储模式的优良特点，分布式的信息数据存储模式能够为大规模图数据处理提供容量高的相应的存储服务，能够确保大规模图数据的完整存储以及处理。由于云计算的维护一致以及并发控制、数据库可靠性备份等等优良特性，有效地保障了大规模图数据的处理维护行为的实现。 （二）强大处理 在云计算环境下，有效利用分布式平行处理的相应特点，采用相关技术实现大图变小图的分割处理，方便存储使用。由于云计算环境下分布式并行运算能力的有效运用，可让大规模图数据处理技术能力得到显著提高。 （三）优良特性 在云计算环境下，由经济技术角度来说，因为云计算有着优良的灵活伸缩性，其较为适合在针对大规模图数据问题处理中的数据量弹性变化的处理中有效应用。一般的云计算环境都是有性价比较高的普通计算机所构成的，随着图数据规模的逐渐增大，可以通过在云中进行节点的动态增加来实现计算资源以及数据存储容量的扩大，这样就有效降低了由于传统模式造成的并行机模式的相应的大量投资。 二、在云计算环境下，大规模图数据处理技术的重要应用领域 （一）大规模图分割 在云计算环境下，优良的图分割算法是降低图并行计算强耦合性的相应基础，大规模图分割的应该具备较小的时间复杂度，保证子图间相关数据规模以及图拓扑结构的均衡性保持。但是，目前的图分割技术很难在连通性以及均衡性以及时间复杂性等等方面实现性能的优化。 （二）大规模图索引结构 在云计算环境下，由于索引的加入，使得依靠云环境分布式并行处理机制所进行的大规模的图数据管理效率得到了有效提高。但是，这种处理技术的开发应用仍处在一个不断探索研究的进程中。 （三）磁盘存储以及查询处理 在云计算环境下，大规模查询处理技术一般表现在子图挖掘以及图模式匹配查询等等复杂应用中，其处理技术的提升空间很大；现今的基于BSP模型的相关的大规模图处理技术系统的都是基于内存的，在一定程度上会限制数据处理的规模扩大，所以，要搞好有针对性的磁盘优化存储技术的开发。 （四）消息通信 在云计算环境下，应用大规模图数据处理技术进行图处理应用时，每一个图顶点都需要经由邻居节点实现信息的发送与接收，图的相关边可以看作是消息收发的相应通道。相关的消息发送发送方式依据通信策略的不同，可以分为集中式与异步式两种。 （五）容错管理 在云计算环境下，大规模图数据处理技术中的容错管理的主要内容是，冗余备份的写入时机、冗余备份的相应的数据存放位置以及故障侦测、故障恢复等等方面，目前的容错管理的主要设计思路就是通过相应的数据冗余备份以及硬盘读写来实现保障。 综上，云计算是将先进计算机技术以及新型网络技术有机融合在一起后所产生的信息产物，其中，先进行的计算及网络技术包括网络存储、并行计算、网格计算、效用计算等等方面。云计算具有很强的社会普及适用性，因此，云技术的迅猛发展是与大规模的图数据处理息息相关的。由此可