您的位置:首页 > Web前端 > Node.js

NameNode 自动重启问题排查

2015-12-15 08:57 597 查看
NameNode部署的HA架构,由于客户端重复提交了一些复杂查询,而且当时Hdfs当时正在做Rebalancer. 导致standy节点来回重起

1. 首起查看NameNode日志,发现出现了很多以下的error:

Get corrupt file blocks returned error: Operation category READ is not supported in state standby

尝试了几个方案,包括强制切换active和standy,不管用

2. 后来发现连带clouder manager agent的都来回异出退出,

想了一下,最近有两个节点的blocks数过多,而现在NameNode分配的内存只有1G, 看来有可能是内存不够用了,把内存加到后4G后,重起,果断管用了。。。

不过小文件的问题还是要解决的,每个block太小,bock数量过多。map数量过多,这个问题也必须要解决
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: