-hbase运维.pdfVIP

Hbase运维碎碎念 宁海元 @NinGoo Ver ：0.2 2011年6月 Hbase运维碎碎念 1. 这是一个读书笔记，可能有大量的理解错误 2. 最后的参考文档比这个ppt更有价值 3. 后续对Hbase有更多的理解，随时会更新ppt 4. 你需要有基本的java概念和基本的Hbase概念 Hbase运维碎碎念 Agenda 1. JAVA 2. HDFS 3. HBase Hbase运维碎碎念 tmpwatch 运行一段时间后，发现jps无法列举java进程了，崩溃。。。 Why ？ Java需要将pid信息写入到/tmp/hsperfdata_username tmpwatch定期清理/tmp 修改sudo vi /tmp/cron.daily/tmpwatch /usr/sbin/tmpwatch “$flags” -x /tmp/hsperfdata_* … Hbase运维碎碎念 JVM Heap 图片出处： /technetwork/java/javase/gc- tuning-6-140523.html Hbase运维碎碎念 JVM Heap 简单来说，Heap分为年轻代(Young)/年老代(Old/ Tenured)/持久代(Perm) -Xms: Heap初始尺寸 -Xmx: Heap最大尺寸 -Xmn: 年轻代尺寸 -XX:NewRatio: 设置Young与Old的大小比例，-server时默认为1:2 -XX:SurvivorRatio: 设置Eden与Survivor的比例，默认为32 。 -XX:MaxPermSize ：持久代大小，默认64M 。 -XX:NewSize ：年轻代大小 -XX:MaxNewSize: 年轻代最大尺寸 -Xss: 每个线程的stack尺寸 -XX:MinHeapFreeRatio ：空余堆内存小于40%时，JVM就会增大堆。 -XX:MaxHeapFreeRatio ：空余堆内存大于70%时，JVM会减少堆。 Hbase运维碎碎念 JVM Heap 年轻代分为Eden，Survior 1，Survior2 新对象在Eden区分配内存。 GC时，将Eden和有对象的Survior区(From Space)的所有对象复制到 另外一个Survior(To Space)，然后清空Eden和原Sruvior 。 当一个对象在from和to之间复制的次数超过一定阀值(- XX:MaxTenuringThreshold)后，进入到年老代。如果是CMS GC，这 个阀值默认为0，也就是经过一次copy后就进入年老代。- XX:+PrintTenuringDistribution可以查看详细统计信息。 持久代不GC，除非CMS GC且显式设置 XX:+CMSClassUnloadingEnabled - XX:+CMSPermGenSweepingEnabled Hbase运维碎碎念 JVM GC GC分为对Young 的GC （minor）和同时对Young和Old的GC （Major） 1. Serial GC，单线程GC，适合小Heap单CPU。-XX:+UseSerialGC 2. Parallel GC，也称Throughput GC 。与第一种GC不同在于Young 区是多线程的，但Old区仍然单线程。-XX:+UseParallelGC。Java 6.0 已经支持Old区并行GC：-XX:+UseParallelOldGC。GC的线程 数可以通过-XX:ParallelGCThreads=N调整。通过- XX:MaxGCPauseMillis=N可以提示最大GC暂停时间，设置此参 数会导致JVM 自动调整Heap大小和一些JVM相关参数，慎用。 3. Concurrent GC，也称CMS GC，可以