spark 查看 job history 日志
2015-06-11 17:05
375 查看
SPARK_HOME/conf 下:
spark.eventLog.dir hdfs://master:8020/var/log/spark
spark.eventLog.compress true
默认值:10
以秒为单位,更新日志相关信息的时间间隔
spark.history.retainedApplications
默认值:50
在内存中保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,当再次访问已被删除的应用信息时需要重新构建页面。
spark.history.ui.port
默认值:18080
HistoryServer的web端口
spark.history.kerberos.enabled
默认值:false
是否使用kerberos方式登录访问HistoryServer,对于持久层位于安全集群的HDFS上是有用的,如果设置为true,就要配置下面的两个属性
spark.history.kerberos.principal
默认值:用于HistoryServer的kerberos主体名称
spark.history.kerberos.keytab
用于HistoryServer的kerberos keytab文件位置
spark.history.ui.acls.enable
默认值:false
授权用户查看应用程序信息的时候是否检查acl。如果启用,只有应用程序所有者和spark.ui.view.acls指定的用户可以查看应用程序信息;否则,不做任何检查
spark.eventLog.enabled
默认值:false
是否记录Spark事件,用于应用程序在完成后重构webUI
spark.eventLog.dir
默认值:file:///tmp/spark-events
保存日志相关信息的路径,可以是hdfs://开头的HDFS路径,也可以是file://开头的本地路径,都需要提前创建
spark.eventLog.compress
默认值:false
是否压缩记录Spark事件,前提spark.eventLog.enabled为true,默认使用的是snappy
以spark.history开头的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS,以spark.eventLog开头的配置在spark-defaults.conf
尊重原创,未经允许不得转载:/article/1810567.html
spark-defaults.conf 增加如下内容
spark.eventLog.enabled truespark.eventLog.dir hdfs://master:8020/var/log/spark
spark.eventLog.compress true
spark-env.sh 增加如下内容
export SPARK_HISTORY_OPTS=”-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:/master:8020/var/log/spark”启动start-history-server.sh
SPARK_HOME/conf 下: 执行 ./start-history-server.shspark job history web: master:18080
这样在spark任务运行完成之后,就可以通过web页面查看日志了history server相关的配置参数描述
spark.history.updateInterval默认值:10
以秒为单位,更新日志相关信息的时间间隔
spark.history.retainedApplications
默认值:50
在内存中保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,当再次访问已被删除的应用信息时需要重新构建页面。
spark.history.ui.port
默认值:18080
HistoryServer的web端口
spark.history.kerberos.enabled
默认值:false
是否使用kerberos方式登录访问HistoryServer,对于持久层位于安全集群的HDFS上是有用的,如果设置为true,就要配置下面的两个属性
spark.history.kerberos.principal
默认值:用于HistoryServer的kerberos主体名称
spark.history.kerberos.keytab
用于HistoryServer的kerberos keytab文件位置
spark.history.ui.acls.enable
默认值:false
授权用户查看应用程序信息的时候是否检查acl。如果启用,只有应用程序所有者和spark.ui.view.acls指定的用户可以查看应用程序信息;否则,不做任何检查
spark.eventLog.enabled
默认值:false
是否记录Spark事件,用于应用程序在完成后重构webUI
spark.eventLog.dir
默认值:file:///tmp/spark-events
保存日志相关信息的路径,可以是hdfs://开头的HDFS路径,也可以是file://开头的本地路径,都需要提前创建
spark.eventLog.compress
默认值:false
是否压缩记录Spark事件,前提spark.eventLog.enabled为true,默认使用的是snappy
以spark.history开头的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS,以spark.eventLog开头的配置在spark-defaults.conf
尊重原创,未经允许不得转载:/article/1810567.html
相关文章推荐
- 性能测试新手误区(一)
- spark 查看 job history 日志
- pygame实现一个时钟
- Oracle 数据导入导出
- SQL语句大全(提升二)
- fork 多进程调试
- 6-3曲线与直方图
- Django 处理模糊搜索结果
- Java设计模式 模板方法(Template Method)
- iOS 使用百度地图地图画成功了,但是没有图层显示问题解决。
- 判断是否为ipad
- 论文提要“Scalable Object Detection using Deep Neural Networks”
- imsdroid 初级认识---阿冬
- linux内核基础(系统调用,简明)
- SQL语句大全(基础)
- SQL语句大全(提升一)
- spring手动回滚事务
- LeetCode153:Find Minimum in Rotated Sorted Array
- linux内核基础(系统调用,简明)
- PAT (Basic Level) Practise:1006. 换个格式输出整数