SPARK启动历史任务查看
2016-06-08 17:28
309 查看
SPARK历史任务查看需要一下配置:
修改spark-defaults.conf配置文件
spark.eventLog.enabled true
spark.eventLog.dir hdfs://192.168.9.110:9000/eventLogs
spark.eventLog.compress true
修改spark-env.sh配置文件
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs"
以上两个配置中spark.eventLog.dir和SPARK_HISTORY_OPTS都用到了hdfs来存储历史任务的日志信息.所以需要提前在hdfs中新建这两个目录 hdfs://192.168.9.110:9000/eventLogs和hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs
进入hadoop的bin目录 命令 : cd /data/server/hadoop-2.6.0/bin
新建hdfs://192.168.9.110:9000/eventLogs命令 : ./hadoop dfs -mkdir /eventLogs
新建hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs命令 : ./hadoop dfs -mkdir /sparkHistoryLogs
重启spark集群
启动历史任务进程
sbin/start-history-server.sh
历史任务进程启动验证
执行jps命令,出现HistoryServer进程
查看历史任务Web UI http://192.168.9.110:18080/
修改spark-defaults.conf配置文件
spark.eventLog.enabled true
spark.eventLog.dir hdfs://192.168.9.110:9000/eventLogs
spark.eventLog.compress true
修改spark-env.sh配置文件
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs"
以上两个配置中spark.eventLog.dir和SPARK_HISTORY_OPTS都用到了hdfs来存储历史任务的日志信息.所以需要提前在hdfs中新建这两个目录 hdfs://192.168.9.110:9000/eventLogs和hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs
进入hadoop的bin目录 命令 : cd /data/server/hadoop-2.6.0/bin
新建hdfs://192.168.9.110:9000/eventLogs命令 : ./hadoop dfs -mkdir /eventLogs
新建hdfs://DEV-HADOOP-01:9000/sparkHistoryLogs命令 : ./hadoop dfs -mkdir /sparkHistoryLogs
重启spark集群
启动历史任务进程
sbin/start-history-server.sh
历史任务进程启动验证
执行jps命令,出现HistoryServer进程
查看历史任务Web UI http://192.168.9.110:18080/
相关文章推荐
- Spark RDD API详解(一) Map和Reduce
- 使用spark和spark mllib进行股票预测
- Spark随谈——开发指南(译)
- Spark,一种快速数据分析替代方案
- eclipse 开发 spark Streaming wordCount
- Understanding Spark Caching
- ClassNotFoundException:scala.PreDef$
- Windows 下Spark 快速搭建Spark源码阅读环境
- Spark中将对象序列化存储到hdfs
- 使用java代码提交Spark的hive sql任务,run as java application
- Spark机器学习(一) -- Machine Learning Library (MLlib)
- Spark机器学习(二) 局部向量 Local-- Data Types - MLlib
- Spark机器学习(三) Labeled point-- Data Types
- Spark初探
- Spark Streaming初探
- Spark本地开发环境搭建
- 搭建hadoop/spark集群环境
- Spark HA部署方案
- Spark HA原理架构图
- spark内存概述