hadoop一些维护命令使用收集
2013-02-20 11:43
344 查看
1. 启动相关
#在slave节点上启动datanode和tasktracker hadoop-daemon.sh start datanode hadoop-daemon.sh start tasktracker |
2. 优化相关
#平衡数据 start-balancer.sh |
3. Dfsadmin相关用法
#更新节点配置文件后使生效,如移除或增加节点 hadoop dfsadmin –refreshNodes #用这个命令可以快速定位出哪些节点down掉了,HDFS的容量以及使用了多少,以及每个节点的硬盘使用情况 hadoop dfsadmin –report #安全模式 hadoop dfsadmin -safemode enter | leave | get | wait #设置检查点,在安全模式下运行 hadoop dfsadmin -saveNamespace |
4. Fsck相关用法
#查看某个文件放在哪几个节点上,定们机架的位置: hadoop@server1:~$ hadoop fsck /user/lihui_luo/softs/hadoop.tar.gz -files -blocks -racks /user/lihui_luo/softs/hadoop.tar.gz 44722229 bytes, 1 block(s): OK 0. blk_-7730007861469543539_11188 len=44722229 repl=3 [/default-rack/192.168.42.21:50010, /default-rack/192.168.42.22:50010, /default-rack/192.168.42.23:50010] #如果有损坏的文件,使用下面命令删除 hadoop fsck --delete |
5. Namenode操作相关
#Hadoop namenode [-format] | [-upgrade] | [-rollback] | [-finalize] | [-importCheckpoint] #hadoop初始格式化 hadoop nameNode –format # |
6. 备份恢复升级
#升级出现错误:Incompatible build versions,namenode和datanode版本不一致,可能的解决方法如下,或者用master的安装配置文件分发到所有slaves master上执行:hadoop namenode -upgrade slave上执行:hadoop datanode –upgrade #备份之前设置检查点,使将edit内容写入fsimage #先进行安全模式,停止写入内容到edit hadoop dfsadmin -safemode enter hadoop dfsadmin -saveNamespace hadoop dfsadmin -safemode leave #修改复制备份数,递归将目录/下的文件备份数改为1 #dfs.replication参数只是对写入时对生效 hadoop fs -setrep -R 1 / |
相关文章推荐
- linux 使用hadoop中常用的一些命令
- hadoop维护时候的一些重要命令
- hadoop 、hive 的一些使用经验。
- Hadoop学习1_在使用命令行运行WordCount时,遇到的jar命令说明
- 何时使用hadoop fs、hadoop dfs与hdfs dfs命令
- Linux系统下pv命令的一些使用技巧小结
- linux SHELL通配符和一些命令的使用
- ubuntu下使用mysql的一些命令
- linux的一些命令使用
- Hadoop系列-HDFS的Shell脚本命令使用说明(六)
- Linux使用命令(持续收集更新)
- 何时使用hadoop fs、hadoop dfs与hdfs dfs命令
- Linux_Linux命令_nohup_后台挂起进程_一些使用事项
- npm的一些常用命令(在国内,建议使用cnpm,在淘宝镜像里面下载就行)
- vim中的一些高级命令的使用
- 维护linux必须知道的一些命令
- 第一次使用git的一些基本命令
- npm使用过程中的一些错误解决办法及npm常用命令
- 内网渗透一些命令收集整理
- linux下tftp使用(转一些命令)