spark UI 显示已完成应用的历史信息
2016-05-30 17:37
337 查看
1，在HDFS 上创建放历史文件的目录
2，配置spark-env.sh的SPARK_HISTORY_OPTS=“-Dspark.eventLog.dir=第一步创建的目录”
3，配置spark-defaults.conf 的spark.eventLog.enabled=true，spark.eventLog.dir=第一步创建的目录，spark.eventLog.compress=true
4，启动spark-history-server sbin/start-history-server.sh 第一步创建的目录.
saprk应用未执行sc.stop 程序不会结束，历史信息也不会写入。
2，配置spark-env.sh的SPARK_HISTORY_OPTS=“-Dspark.eventLog.dir=第一步创建的目录”
3，配置spark-defaults.conf 的spark.eventLog.enabled=true，spark.eventLog.dir=第一步创建的目录，spark.eventLog.compress=true
4，启动spark-history-server sbin/start-history-server.sh 第一步创建的目录.
saprk应用未执行sc.stop 程序不会结束，历史信息也不会写入。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Spark RDD API详解(一) Map和Reduce
- 使用spark和spark mllib进行股票预测
- Spark随谈——开发指南（译）
- Spark，一种快速数据分析替代方案
- eclipse 开发 spark Streaming wordCount
- Understanding Spark Caching
- ClassNotFoundException:scala.PreDef$
- Windows 下Spark 快速搭建Spark源码阅读环境
- Spark中将对象序列化存储到hdfs
- 使用java代码提交Spark的hive sql任务，run as java application
- Spark机器学习（一） -- Machine Learning Library (MLlib)
- Spark机器学习（二） 局部向量 Local-- Data Types - MLlib
- Spark机器学习（三） Labeled point-- Data Types
- Spark初探
- Spark Streaming初探
- Spark本地开发环境搭建
- 搭建hadoop/spark集群环境
- Spark HA部署方案
- Spark HA原理架构图
- spark内存概述