细细品味Hadoop_Hadoop集群（第12期副刊）_HBase性能优化.pdfVIP

细细品味 Hadoop ——Hadoop 集群（第12 期副刊） 精 华 集 锦 csAxp 虾皮工作室 /xia520pi/ 2012 年 7 月 3 日 创建时间：2012/3/21 修改时间：2012/3/21 修改次数：0 Hadoop 集群（第12 期副刊） ——HBase 性能优化 1、从配置角度优化 1.1 修改Linux配置 Linux 系统最大可打开文件数一般默认的参数值是1024，如果你不进行修改并发量上来 的时候会出现“Too Many Open Files ”的错误，导致整个HBase 不可运行，你可以用ulimit -n 命令进行修改，或者修改/etc/security/limits.conf 和/proc/sys/fs/file-max 的参数，具体如何修 改可以去Google 关键字 “linux limits.conf ” 1.2 修改 JVM 配置 修改hbase-env.sh 文件中的配置参数，根据你的机器硬件和当前操作系统的JVM （32/64 位）配置适当的参数： HBASE_HEAPSIZE 4000 HBase 使用的 JVM 堆的大小 HBASE_OPTS ‐server ‐XX:+UseConcMarkSweepGCJVM GC 选项 HBASE_MANAGES_ZKfalse 是否使用Zookeeper 进行分布式管理 1.3 修改HBase配置  zookeeper.session.timeout 默认值：3 分钟（180000ms） 说明：RegionServer 与 Zookeeper 间的连接超时时间。当超时时间到后，ReigonServer 会被Zookeeper 从RS 集群清单中移除，HMaster 收到移除通知后，会对这台server 负责的 regions 重新balance ，让其他存活的RegionServer 接管. 调优： 这个timeout 决定了RegionServer 是否能够及时的failover 。设置成1 分钟或更低，可以 减少因等待超时而被延长的failover 时间。 不过需要注意的是，对于一些Online 应用，RegionServer 从宕机到恢复时间本身就很短 的（网络闪断，crash 等故障，运维可快速介入），如果调低timeout 时间，反而会得不偿失。 因为当ReigonServer 被正式从RS 集群中移除时，HMaster 就开始做balance 了（让其他RS 根据故障机器记录的WAL 日志进行恢复）。当故障的RS 在人工介入恢复后，这个balance 动作是毫无意义的，反而会使负载不均匀，给RS 带来更多负担。特别是那些固定分配regions 的场景。 河北工业大学——软件工程与理论实验室 整理：虾皮 1 创建时间：2012/3/21 修改时间：2012/3/21 修改次数：0  hbase.regionserver.handler.count 默认值：10 说明：RegionServer 的请求处理IO 线程数。 调优： 这个参数的调优与内存息息相关。 较少的IO 线程，适用于处理单次请求内存消耗较高的Big PUT 场景（大容量单次PUT 或设置了较大cache 的scan，均属于Big PUT ）或ReigonServer 的内存比较紧张的场景。