spark集群环境主机日志文件太多,超出了ext3文件系统一级子目录的个数默认为31998(个),准确地说是32000个,导致集群不正常
2016-12-02 14:05
260 查看
2016-12-02
问题:spark集群环境主机日志文件太多,超出了ext3文件系统一级子目录的个数默认为31998(个),准确地说是32000个,导致集群不正常
解决方案:手动情况日志文件,并修改配置文件:/home/mr/spark/conf/spark-defaults.conf
使spark.worker.cleanup.enabled=true,
spark.worker.cleanup.appDataTtl = 259200(3*24*3600 worker App保存三天),
然后重启spark服务和sparkSQL服务。
问题:spark集群环境主机日志文件太多,超出了ext3文件系统一级子目录的个数默认为31998(个),准确地说是32000个,导致集群不正常
解决方案:手动情况日志文件,并修改配置文件:/home/mr/spark/conf/spark-defaults.conf
使spark.worker.cleanup.enabled=true,
spark.worker.cleanup.appDataTtl = 259200(3*24*3600 worker App保存三天),
然后重启spark服务和sparkSQL服务。
相关文章推荐
- spark集群环境主机日志文件太多,超出了ext3文件系统一级子目录的个数默认为31998(个),准确地说是32000个,导致集群不正常
- Linux系统下Apache日志文件设置、更改默认网站目录、防止php木马跨站设置、禁止空主机头
- Windows 8 系统环境下,Python3默认编码错误,导致运行文件失败的解决方法。
- Nagios监控ESXI主机系统、硬件、nagios日志文件时间格式转换
- centos6.5环境基于corosync+cman+rgmanager实现RHCS及iscsi+gfs2+clvm的文件系统集群
- ORA-01291: missing logfile Oracle RAC 集群环境下日志文件结构
- 日志文件超过大小限制,导致网站无法正常访问
- bashrc文件中环境变量配置错误,导致linux无法正常使用的解决方案
- 【hadoop 2.6】hadoop 2.6集群环境搭建及文件系统使用
- centos6.5环境基于corosync+cman+rgmanager实现RHCS及iscsi+gfs2+clvm的文件系统集群
- 黑莓ECLIPSE3.5开发环境不识别资源文件导致编译不通过解决方案附文件(系统语言问题)
- MAC下配置环境导致默认环境配置文件失效
- 修复错误配置fstab文件导致系统无法正常启动
- ubuntu修改系统环境变量文件导致起不来
- oracle Rac集群环境添加数据文件不当导致数据库宕掉
- 关于解压覆盖IIS文件后,新的文件不具备权限导致DMS系统无法正常运行
- Spark HA 集群搭建【1、基于文件系统的手动HA 2、基于zk的自动HA】