您的位置:首页 > 运维架构

Hadoop 文件操作常用的命令

2018-03-15 10:57 381 查看
hdfs fsck / -files -blocks  列出文件系统中各个文件由哪些块组成 
hadoop fs -ls .             列出hdfs文件的所有文件,不递归目录hadoop  fs -lsr / hadoop  fs -ls -R /  (规范写法)  递归查看指定目录下的所有内容 hadoop  fs -cp /dir01/1.txt  /dir02  将HDFS上 / dir01下的1.txt拷贝一份到 / dir02目录下。
目标路径可以有多个,用空格隔开,比如:hadoopfs -cp /dir01/1.txt  / dir02  / dir03……
hadoop fs -copyFromLocal MaxTemperature.jar \hdfs://localhost/user/root/all/                           从本地文件系统将一个文件复制到hdfshadoopfs -copyToLocal all/MaxTemperature.jar MaxTemperature_hdfs.jar                           从hdfs将文件复制回本地文件夹hadoopdistcp file1(dir1) file2(dir2)          复制文件或者目录hadoopdistcp -update -delete -p dir1 dir2       仅更新变化或没有的文件,-p是保留权限         
hadoop  fs -put /usr/1.txt  /dir             将linux操作系统usr目录下的1.txt放在hdfs的dir目录下hadoop  fs -get /dir/dir  /home           把hdfs文件系统下的dir目录的文件下载到linux的home目录下 
hadoop fs -rm /dir/filename  删除hdfs 的dir目录的指定文件hadoop fs -rmdir /dir        删除dir目录,但是前提目录里没有文件hadoop fs -rm -r /dir        删除dir目录,即使目录里有文件 
hadoop fs -cat /dir /a.txt     查看dir目录下的a.txt文件hadoop fs -tail /dir/a.txt      查看dir目录下a.txt文件末尾(1KB)的数据 
hadoop  fs  –mv  /dir02  /dir01   将HDFS上的dir02目录重命名为dir01hadoop  fs -mv /dir02/1.txt /dir01  将dir02目录下的1.txt移动到/dir01目录下 
hadoop fs -touchz /dir/2.txt   创建一个空文件hadoop fs -mkdir dirName     在hdfs 的根目录下,创建  dirName目录 
hadoop fsck /dir     显示/dir目录的健康状况hadoop fsck /dir/1.txt  -files -blocks -locations  -racks                             查看1.txt 这个文件block信息以及机架信息
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: