基于Hadoop的遥感影像节能存储策略.docVIP

基于Hadoop的遥感影像节能存储策略 　　1 引言 　　数据存储带来的能耗问题一直是各国的研究者关注的重点，目前针对云存储平台的节能研究也广泛存在，文献指出目前云平台的节能研究多从硬件节能和软件节能两个方面来实现的。硬件层次上主要通过DVFS等技术通过根据运行在芯片上的程序对计算能力需求，动态的对芯片的运行频率和电压进行调节来达到节能的目的。软件层次上的节能研究更加多层次，对于类似Hadoop这样的通用的分布式架构，通常使用数据放置策略和节点调度策略相配合来实现节能。目前较少有研究针对数据内在特性优化数据放置策略的研究，在遥感影像数据这样单一数据源产生的海量数据存储中，针对数据内在特性进行优化数据放置策略是解决云存储能耗问题的新思路和方法。 　　2 基于遥感影像特性的HDFS数据放置算法 　　本文的工作目标是在hadoop平台上对HDFS分布式文件系统的数据放置策略进行更改，根据卫星遥感影像数据特性优化存储策略，在系统负载较低时关闭部分节点达到节能的目的。 　　2.1 遥感影像数据的特性 　　遥感影像数据的读取和查询通常通过影像数据对应的地理位置进行，而单次查询的数据对应的地理空间范围上相近或者临近的。对大量遥感影像查询记录分析发现，对于感影像数据在对应地理空间上的访问存在高频度中心向周围递减的特性。 　　2.2 遥感影像存储建模 　　对同一波段的遥感影像数据进行空间建模，根据所在空间经纬度进行分割为m*n个分片，每个分片的影像数据对应HDFS中的一个数据块，标识每个数据块为d 记录每个数据块的访问次数为 建立数据块访问次数矩阵 ：对各个数据块的访问次数进行排序，数据块访问次数排位为 ，建立数据块访问次数排序矩阵Dm‘根据数据块的访问频度对数据块进行分组，首先选取数据块访问次数最高的数据块作为分组 中心数据块 dsisj： 　　选定数据块d 记录在分组Ei中，对数据块d 周围的数据块进行8向搜寻，当 gt;pxmxn时将数据块d 记录在分组中，其中P为数据块分组边界因子(Plt;1)，对记录在分组内的数据块继续做8向搜寻，直至没有新的数据块满足条件为止。在没有被选中的数据块中选取数据块访问次数最高的数据块作为分组E2中心数据块式…重复上述过程，直至Ep+i的中心数据块d 的数据块访问次数 　　2.3 副本放置策略 　　为了保证节能算法的效果，HDFS集群内需要拥有10个以上存储空间和计算性能相同的Data node节点。遥感影像数据存入顺序为： 　　分组Ei中的数据块选择集群内剩余空间最大的节点存入，在剩余的节点中选取剩余空间最大的两个存入分组Ei的副本，在节点存储中，数据块的的存放顺序按照分组数据块的排序来进行; 　　分组Ep中的数据块在集群中选取存储空间剩余最小的节点来储存，同样在另外的节点上储存两个副本。接下来按照分组Ep.i、E3、Ep.2……的顺序来存储数据块; 　　当分组的数据块都己经存入集群后，将在分组时没有被选择的数据块按照节点剩余空间大小的比例随机存入节点当中。 　　节能效果实验使用云环境仿真平台Cloud Sim模拟一个拥有60个节点的集群，比较在模拟的24小时遥感影像数据查询的不同负载情况下，默认HDFS策略、动态数据放置策略、本文所使用策略节点开启情况对比，如图1所示。 　　通过对比可以发现本文所使用的策略相较HDFS默认策略节点开启率降低了53%，在中高访问频率时较动态数据放置策略优化效果明显，但是由于数据块分组细分不够，在低负载时此策略节点开启率XkUX过高需要后期优化。 　　4 总结与展望 　　本文对HDFS的数据放置策略根据遥感影像数据的特性进行优化，映射数据块对应影像的空间位置建模，用访问频率设置存储中心对数据进行聚类，在中等负载的实验环境中表现出比通用的节能算法更好的节能效果。下一步的工作在于优化策略在较低功耗时的节能表现。