您的位置：首页 > 其它

hivemeta、sparkSubmit进程参数优化

2016-03-14 20:05 465 查看
1、对hive参数优化

优化 hivemeta进程和sparksubmit进程

修改hive-env.sh添加

vi hive/conf/hive-env.sh

export HADOOP_OPTS="$HADOOP_OPTS -XX:NewRatio=12 -Xmx4096m -Xms1024m -XX:MaxHeapFreeRatio=40 -XX:MinHeapFreeRatio=15 -XX:-UseGCOverheadLimit -verbose:gc -Xloggc:/usr/local/fqlhadoop/logs/hive/hivemeta.gc.log -XX:ErrorFile=/usr/local/fqlhadoop/logs/hive/hs_err_pid.log -XX:+UseParNewGC -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+HeapDumpOnOutOfMemoryError -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=85 -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=0 -XX:SurvivorRatio=4 -XX:CMSMaxAbortablePrecleanTime=1000 -XX:+CMSClassUnloadingEnabled -XX:+DisableExplicitGC"

重要参数说明：

-XX:+UseParNewGC 设置年轻代为并行收集

-XX:+UseConcMarkSweepGC 使用CMS内存收集

-XX:CMSFullGCsBeforeCompaction 多少次后进行内存压缩

-XX:CMSInitiatingPermOccupancyFraction 设置Perm Gen使用到达多少比率时触发

-XX+UseCMSCompactAtFullCollection 在FULL GC的时候， 对年老代的压缩

-XX:SurvivorRatio Eden区与Survivor区的大小比值

-XX:+DisableExplicitGC 关闭System.gc()

-Xmx16384m 可使用最大堆内存

-Xms4096m 初始堆内存

-Xmn2048m 年轻代内存

arNewGC -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+HeapDumpOnOutOfMemoryError -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=85 -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=0 -XX:SurvivorRatio=4 -XX:

CMSMaxAbortablePrecleanTime=1000 -XX:+CMSClassUnloadingEnabled -XX:+DisableExplicitGC"

修改thrift.sh参数 也就是sparksubmit进程

--driver-java-options "-XX:MaxPermSize=5g -Xmx8192m -Xms2048m -Xmn1024m -verbose:gc -Xloggc:/usr/local/fqlhadoop/logs/spark/sparksubmit.gc.log -XX:ErrorFile=/usr/local/fqlhadoop/logs/spark/hs_err_pid.log -XX:+UseP

arNewGC -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+HeapDumpOnOutOfMemoryError -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=85 -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=0 -XX:SurvivorRatio=4 -XX:

CMSMaxAbortablePrecleanTime=1000 -XX:+CMSClassUnloadingEnabled -XX:+DisableExplicitGC"

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航