解决spark-shell输出日志信息过多
2016-05-04 16:17
351 查看
当我们执行spark-shell的时候,会出现如下界面,如果觉得显示信息过多可通过修改conf文件夹下的log4j.properties文件让其只显示警告信息,而不显示所有的信息1。
如上图所示,将log4j.rootCategory=INFO, console中的INFO改为WARN,保存退出即可。
效果如下所示:
同样,该方法也适用于pyspark。
Spark快速大数据分析,卡劳(Karau,H.) ↩
解决方案
进入到spark目录/conf文件夹下,此时有一个log4j.properties.template文件,我们执行如下命令将其拷贝一份为log4j.properties,并对log4j.properties文件进行修改。cp log4j.properties.template log4j.properties vim log4j.properties
如上图所示,将log4j.rootCategory=INFO, console中的INFO改为WARN,保存退出即可。
效果如下所示:
同样,该方法也适用于pyspark。
Spark快速大数据分析,卡劳(Karau,H.) ↩
相关文章推荐
- 服务器巡检shell脚本,python生成excel文档并邮件发出
- php中判断shell_exec执行结果
- jenkins自动部署maven工程到服务器----SSH+shell
- mac fish shell的安装和使用教程
- 关于shell下的颜色
- linux shell 多个命令一起执行的几种方法
- Shell脚本编程30分钟入门
- 《Linux命令行与shell脚本编程大全》
- shell 总结
- MONGO 删除制定时间前 的shell 脚本 模版
- C# 无法嵌入互操作类型shell32.ShellClass,请改用适合的接口
- Shell编程
- Win10系统开启Linux Bash命令行
- Shell脚本分割Nginx日志,并定期清理[不重启nginx]
- 【转载】shell编程——if语句 if -z -n -f -eq -ne -lt
- shell 去除 ^M
- shell中$0,$?,$!等的特殊用法
- shell交互程序自动执行
- Linuxshell脚本之if条件判断
- Linuxshell脚本之if条件判断