一种基于HBase的数据持久性和可用性研究①-计算机系统应用.PDF

2013 年 第 22 卷 第 10 期 计 算 机 系 统 应 用 ① 一种基于HBase 的数据持久性和可用性研究 1 1,2 1 1 1,2 唐长城 , 杨 峰 , 代 栋 , 孙明明 , 周学海 1( 中国科学技术大学 计算机科学与技术学院, 合肥 230027) 2( 中国科学技术大学 苏州研究院, 苏州 215123) 摘 要: HBase(Hadoop DataBase)是 Apache Hadoop 项目下的一款非关系型数据库, 它是一个基于列簇的开源数 据存储系统, 关于 HBase 的研究和应用越来越受到关注. 由于HBase 会在内存缓存数据后写文件系统, 所以缓存 的大小成为影响系统性能的一个重要因素. 本文提出一种基于备份日志的持久性、可用性方案 Remote Log Process, 使得HBase 能够在不同的缓存规模获得更好的写性能. 实验证明, 在保证数据的持久性和可用性前提下, RLP 能够在不同的缓存大小下获得稳定的性能, 并且在缓存不超过默认设置时明显提高写操作时间性能. 关键词: HBase; 持久性; 可用性; 预写日志; 写操作效率 Research of Data Durable and Available Base on HBase 1 1,2 1 1 1,2 TANG Chang-Cheng , YANG Feng , DAI Dong , SUN Ming-Ming , ZHOU Xue-Hai 1(College of Computer Science and Technology, University of Science and Technology of China, Hefei 230027, China) 2(Suzhou Institute for Advanced Study, University of Scienceand Technology of China, Suzhou 215123, China ) Abstract: HBase, a NoSql database under Apache Hadoop, is an open source data storage system based on column family. Researches and applications based on HBase is more and more popular. But the size of memory buffer become a key factor to influence system performance as HBase will buffer data in memory before store them on file system. In this paper, we provide a new method based on copied log named Remote Log Process to make HBase perform better on write operation with different buffer size while keeping data durable and available. Experiments result indicates RLP can get a steady performance with different buffer size under the condition to guarantee durabl