NameNode 自动重启问题排查
2015-12-15 08:57
597 查看
NameNode部署的HA架构,由于客户端重复提交了一些复杂查询,而且当时Hdfs当时正在做Rebalancer. 导致standy节点来回重起
1. 首起查看NameNode日志,发现出现了很多以下的error:
Get corrupt file blocks returned error: Operation category READ is not supported in state standby
尝试了几个方案,包括强制切换active和standy,不管用
2. 后来发现连带clouder manager agent的都来回异出退出,
想了一下,最近有两个节点的blocks数过多,而现在NameNode分配的内存只有1G, 看来有可能是内存不够用了,把内存加到后4G后,重起,果断管用了。。。
不过小文件的问题还是要解决的,每个block太小,bock数量过多。map数量过多,这个问题也必须要解决
1. 首起查看NameNode日志,发现出现了很多以下的error:
Get corrupt file blocks returned error: Operation category READ is not supported in state standby
尝试了几个方案,包括强制切换active和standy,不管用
2. 后来发现连带clouder manager agent的都来回异出退出,
想了一下,最近有两个节点的blocks数过多,而现在NameNode分配的内存只有1G, 看来有可能是内存不够用了,把内存加到后4G后,重起,果断管用了。。。
不过小文件的问题还是要解决的,每个block太小,bock数量过多。map数量过多,这个问题也必须要解决
相关文章推荐
- Ansible 部署 Node.js
- node 学习笔记 - Modules 模块加载系统 (2)
- Delete Node in a Linked List
- hadoop在子节点上没有datanode进程
- NodeJS POST Request Over JSON-RPC
- Node.js内置的工具和第三方模块来进行单步调试
- Node.js内置的工具和第三方模块来进行单步调试
- Node.js、Ionic、Cordova、AngualrJS安装
- 从Java的角度理解前端框架,nodejs,reactjs,angularjs,requirejs,seajs
- clippingNode在Android上显示无效
- javascript DOM innerHTML createElement createTextNode
- namenode metadata 备份与恢复实验
- Node.js包管理器:
- 使用supervisor提高nodejs调试效率
- 安装 Node.js
- 【探索】NodeJS中间层搭建——楔子
- win10下详细配置nodejs+express4开发环境
- nodejs+express递归实现树形结构demo
- node.js中的匿名函数, 回调函数和嵌套函数
- npm & nodeJS