spark集群环境主机日志文件太多，超出了ext3文件系统一级子目录的个数默认为31998(个)，准确地说是32000个，导致集群不正常
2017-07-30 14:28
295 查看
2016-12-02
问题：spark集群环境主机日志文件太多，超出了ext3文件系统一级子目录的个数默认为31998(个)，准确地说是32000个，导致集群不正常
解决方案：手动情况日志文件，并修改配置文件：/home/mr/spark/conf/spark-defaults.conf
使spark.worker.cleanup.enabled=true,
spark.worker.cleanup.appDataTtl = 259200(3*24*3600 worker App保存三天)，
然后重启spark服务和sparkSQL服务。
问题：spark集群环境主机日志文件太多，超出了ext3文件系统一级子目录的个数默认为31998(个)，准确地说是32000个，导致集群不正常
解决方案：手动情况日志文件，并修改配置文件：/home/mr/spark/conf/spark-defaults.conf
使spark.worker.cleanup.enabled=true,
spark.worker.cleanup.appDataTtl = 259200(3*24*3600 worker App保存三天)，
然后重启spark服务和sparkSQL服务。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- spark集群环境主机日志文件太多，超出了ext3文件系统一级子目录的个数默认为31998(个)，准确地说是32000个，导致集群不正常
- Linux系统下Apache日志文件设置、更改默认网站目录、防止php木马跨站设置、禁止空主机头
- Windows 8 系统环境下，Python3默认编码错误，导致运行文件失败的解决方法。
- 一共81个，开源大数据处理工具汇总：查询引擎、流式计算、迭代计算、离线计算、键值存储、表格存储、文件存储、资源管理、日志收集系统、消息系统、分布式服务、集群管理、基础设施、搜索引擎、数据挖掘＝监控
- VMware下ubuntu系统一直莫名其妙地连接无线网络导致Hadoop集群无法正常启动的解决方法
- Spark HA 集群搭建【1、基于文件系统的手动HA 2、基于zk的自动HA】
- 关于解压覆盖IIS文件后，新的文件不具备权限导致DMS系统无法正常运行
- Nagios监控ESXI主机系统、硬件、nagios日志文件时间格式转换
- Oracle数据库案例整理-Oracle系统运行时故障-alert.log日志文件大小超出限制
- 一共81个，开源大数据处理工具汇总：查询引擎、流式计算、迭代计算、离线计算、键值存储、表格存储、文件存储、资源管理、日志收集系统、消息系统、分布式服务、集群管理、基础设施、搜索引擎、数据挖掘＝监控
- 生产环境实战spark （3）Linux CentOS 系统安装 修改主机名 安装JDK
- 黑莓ECLIPSE3.5开发环境不识别资源文件导致编译不通过解决方案附文件（系统语言问题）
- 获取系统URL访问的前三名（通过Scala方式实现/通过Spark方式实现），Spark将URL访问日志进行分类并通过自定义Partitioner的方式将文件写入到不同分区上
- 文件系统损坏导致虚拟机无法正常启动的问题及解决方法
- c#扩展SPRING，配置里有不存在的业务系统xml导致不能启动问题,把配置文件里有重复的服务ID找出来并写入到日志
- 【RAC】Oracle RAC集群环境下日志文件结构
- 日志文件超过大小限制,导致网站无法正常访问
- oralce10g 归档目录空间满导致归在线重做日志文件无法归档。最后数据库不能正常使用
- 集群环境下log4j日志文件命名方式
- centos6.5环境基于corosync+cman+rgmanager实现RHCS及iscsi+gfs2+clvm的文件系统集群