大数据集群失联问题解决方案
2017-11-23 03:45
281 查看
我们之前维护的集群经常性地出现失联的情况,大数据集群上,还有es集群在跑,在凌晨左右集群会有随机的机器间歇性失联,cpu飙高,ssh登录不了。
在尝试了诸多方法后,通过每天定时清理缓存的方式解决了集群失联的问题。生产环境的大数据集群每天会有大量缓存,若不清理,就会导致内存使用率一直居高不下,长此以往,集群机器就容易失联。
手工释放linux内存
选择echo 3 >/proc/sys/vm/drop_caches可以直接清理pagecache, dentries and inodes
在跳板机上,写个脚本,加入定时任务,即可
cd /etc
mkdir mission
cd mission
vim clean_cache.sh
crontab -e
每天0点和12点,各跑一次,清理集群缓存,可以有效解决集群失联问题
查看任务运行状况
cat /var/log/cron
在尝试了诸多方法后,通过每天定时清理缓存的方式解决了集群失联的问题。生产环境的大数据集群每天会有大量缓存,若不清理,就会导致内存使用率一直居高不下,长此以往,集群机器就容易失联。
手工释放linux内存
To free pagecache, use echo 1 > /proc/sys/vm/drop_caches; to free dentries and inodes, use echo 2 > /proc/sys/vm/drop_caches; to free pagecache, dentries and inodes, use echo 3 >/proc/sys/vm/drop_caches.
选择echo 3 >/proc/sys/vm/drop_caches可以直接清理pagecache, dentries and inodes
在跳板机上,写个脚本,加入定时任务,即可
cd /etc
mkdir mission
cd mission
vim clean_cache.sh
#!/bin/bash for i in {xxx..xxx}; do ssh 192.168.xx.$i "echo 3 > /proc/sys/vm/drop_caches"; done
crontab -e
0 0 * * * /etc/mission/clean_cache.sh 0 12 * * * /etc/mission/clean_cache.sh
每天0点和12点,各跑一次,清理集群缓存,可以有效解决集群失联问题
查看任务运行状况
cat /var/log/cron
相关文章推荐
- 大数据集群失联问题解决方案
- MongoDB集群,解决数据不分片问题
- eclipse连接远程hadoop集群开发时权限不足问题解决方案
- eclipse连接远程hadoop集群开发时0700问题解决方案
- IE9 浏览器绑定大数据会造成Table列错位问题解决方案
- java零碎要点---大型软件部署方案,磁盘阵列,raid提升硬盘性能,解决由于集群带来的文件共享问题
- 加密解密时遇到的"不正确的数据"以及"要解密的数据长度无效"问题解决方案
- docker解决数据存储问题的方案
- eclipse连接远程hadoop集群开发时0700问题解决方案
- eclipse连接远程hadoop集群开发时权限不足问题解决方案
- mima接收数据时粘包和大小端问题解决方案具体实现
- 【Mysql】Mysql数据表区分大小写问题解决方案
- 加密解密时遇到的"不正确的数据"以及"要解密的数据长度无效"问题解决方案
- 上传文件返回的json数据会被提示下载问题解决方案
- Excel数据导入ArcGIS中出现的投影问题解决方案
- 跨服务器导入数据SQL语句及其问题解决方案
- WCF+Restfull服务 提交或获取数据时数据大小限制问题解决方案
- net传递中文参数数据丢失问题解决方案 ,传递中文参数报错
- mysql中的ERROR 1146 (42S02)问题解决方案(主从服务器数据同步引起)
- 使用NEWSEQUENTIALID解决GUID聚集索引问题 SQLServer数据表主键的另一个方案