HDFS基本Shell命令
2016-06-15 16:27
351 查看
bin目录下:
1. hadoop fs 基本操作命令,类似linux shell
2. hadoop dfsadmin 管理命令
3. hadoop fsck (1. 检查hdfs中文件的健康状况
2. 查找确实的块以及过少或过多的副本的块
3. 查看一个文件的所有数据块位置
4. 删除损坏的数据块)
例子:
$/bin/hadoop fsck /***.txt -files -blocks -locations
4. start-balancer.sh -threshold 10% (数据块重分布,最高的和最低的相差小于或等于10%)
5. hadoop dfsadmin -setSpaceQuota 1T /user/username 限制一个目录最多使用的磁盘大小为1T
6. hadoop dfsadmin -setQuota 1000 /user/username 限制一个目录最多包含的子目录和文件数
7. hadoop dfsadmin -refreshNodes 移除一个datanode的步骤:将datanode的host或ip加入namenode的配置项dfs.hosts.exclude中,然后执行此命令
sbin目录下:
1. start-all.sh
2. start-dfs.sh
3. hadoop-deamon.sh
4. hadoop-deamon.sh start namenode(单独启动namenode)
5. hadoop-deamon.sh start datanode(单独启动datanode,也可以用于新增datanode)
1. hadoop fs 基本操作命令,类似linux shell
2. hadoop dfsadmin 管理命令
3. hadoop fsck (1. 检查hdfs中文件的健康状况
2. 查找确实的块以及过少或过多的副本的块
3. 查看一个文件的所有数据块位置
4. 删除损坏的数据块)
例子:
$/bin/hadoop fsck /***.txt -files -blocks -locations
4. start-balancer.sh -threshold 10% (数据块重分布,最高的和最低的相差小于或等于10%)
5. hadoop dfsadmin -setSpaceQuota 1T /user/username 限制一个目录最多使用的磁盘大小为1T
6. hadoop dfsadmin -setQuota 1000 /user/username 限制一个目录最多包含的子目录和文件数
7. hadoop dfsadmin -refreshNodes 移除一个datanode的步骤:将datanode的host或ip加入namenode的配置项dfs.hosts.exclude中,然后执行此命令
sbin目录下:
1. start-all.sh
2. start-dfs.sh
3. hadoop-deamon.sh
4. hadoop-deamon.sh start namenode(单独启动namenode)
5. hadoop-deamon.sh start datanode(单独启动datanode,也可以用于新增datanode)
相关文章推荐
- RHEL6.5 更改Shell版本
- shell写多行到文件中
- Linux中shell文件操作大全
- 【shell】read
- leetcode-shell-195. Tenth Line
- Shell多线程脚本
- shell脚本采用crontab定时备份数据库日志
- 【shell】变量
- Xshell秘钥登录Linux服务器: root && 普通用户
- PowerShell Script Analyzer, Script browser 和 Pester
- PowerShell Script Analyzer, Script browser 和 Pester
- shell编程——if语句 if -z -n -f -eq -ne -lt
- 记录一下自己bashrc
- PowerShell 指定关键词遍历文件内容
- 0531 linux系统command shell(2)
- 0530 linux系统command shell(1)
- Bash Shell字符串操作小结
- linux在shell中获取时间
- Linux shell 脚本编程学习笔记(echo)
- shell中的流程控制