优化hbase JVM GC 参数,避免由于JVM内存回收引发的ZooKeeper会话超时进程退出事件
2014-01-21 01:25
477 查看
hbase默认内存为1G,官方文档中明确地指出这是无法支撑长时间正常运行的,是肯定要引发ZooKeeper会话超时事件,从而导致服务退出的。
文档中给出了4个不怎么有用的建议:
加大内存(但不告诉加多少,反正是越多越好)
确保不要使用交换分区(可我的硬盘是SSD,比内存慢不了多少)
确保有空闲的CPU(CPU很少怎么办?)
延长ZooKeeper超时等待时间(这个有点用,适当延长无害)
既然是JVM回收内存引发的事件,就优化JVM参数来解决吧!以默认1G内存为例。
设置Xmn值为150M:
export HBASE_OPTS="-Xmn150m"
设置GC参数:
export SERVER_GC_OPTS="-XX:CMSInitiatingOccupancyFraction=80 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC"
解释一下:
-Xmn150m 年轻代大小为150M
"-XX:CMSInitiatingOccupancyFraction=80 年老代使用了80%时回收内存
( 1 - 年轻代150M / ( 总内存1000M - 年轻代150M ) ) * 100 = 82.35 > 80
确保了在回收时有余量执行此时出现的任务
-XX:+UseParNewGC:设置年轻代为并发回收
-XX:+UseConcMarkSweepGC:设置年老代为并发回收
这样就能保证在硬件资源范围内最大限度地支撑正常运行,赶快试试吧!
文档中给出了4个不怎么有用的建议:
加大内存(但不告诉加多少,反正是越多越好)
确保不要使用交换分区(可我的硬盘是SSD,比内存慢不了多少)
确保有空闲的CPU(CPU很少怎么办?)
延长ZooKeeper超时等待时间(这个有点用,适当延长无害)
既然是JVM回收内存引发的事件,就优化JVM参数来解决吧!以默认1G内存为例。
设置Xmn值为150M:
export HBASE_OPTS="-Xmn150m"
设置GC参数:
export SERVER_GC_OPTS="-XX:CMSInitiatingOccupancyFraction=80 -XX:+UseParNewGC -XX:+UseConcMarkSweepGC"
解释一下:
-Xmn150m 年轻代大小为150M
"-XX:CMSInitiatingOccupancyFraction=80 年老代使用了80%时回收内存
( 1 - 年轻代150M / ( 总内存1000M - 年轻代150M ) ) * 100 = 82.35 > 80
确保了在回收时有余量执行此时出现的任务
-XX:+UseParNewGC:设置年轻代为并发回收
-XX:+UseConcMarkSweepGC:设置年老代为并发回收
这样就能保证在硬件资源范围内最大限度地支撑正常运行,赶快试试吧!
相关文章推荐
- JVM内存回收System.gc()
- jstat监控JVM内存使用情况、GC回收情况
- php-fpm超时、进程内存、慢日志配置,参数配置等
- Unity优化大全(四)之CPU-GC(内存回收)和Sricpt
- Java性能优化之JVM GC(垃圾回收机制)
- 各种垃圾回收器、对象分配内存原则、GC参数
- JVM、垃圾回收、内存调优、常见参数
- JVM(一)——GC,内存分配和垃圾回收
- HBase客户端访问超时原因及参数优化
- 【Java面试整理之JVM】深入理解JVM结构、类加载机制、垃圾回收GC原理、JVM内存分配策略、JVM内存泄露和溢出
- 关于jvm内存模型和gc回收
- java学习(5),JVM内存模型以及GC回收算法
- 如何降低90%Java垃圾回收时间?以阿里HBase的GC优化实践为例
- JVM内存分配、垃圾回收、启动参数
- 关于jvm内存模型和gc回收
- 深入JVM内核—原理与优化之gc参数学习
- 深入JVM内核——原理、诊断与优化——GC收集器种类及其参数
- Java性能优化之JVM GC(垃圾回收机制)
- JVM内存分区和垃圾回收GC机制
- JVM内存分区和GC回收算法