HDFS 处理命令记录

hdfsdfs-ls
hdfsdfs-mkdir
hdfsdfs-put
hdfsdfs-get
hdfsdfs-cat

hadoop执行jar输出的目录必须要不存在的

yarnjardpi-hadoop-1.0.0.jarMapReduceJob/test/lilin/input/test/lilin/out/dpi

查看目录大小
hdfsfsck/test/dpi/dpi_out/2016120715

获取.lzo_deflate的文件内容

hdfsdfs-text/daas/bstl/dpifix/beijing/20170315/FixedDPI.2017031523_99.1489593029667.lzo_deflate>test.txt

特别注意：文件中包含不可见字符最好用vi命令来查看文件内容。

lzo_deflate处理方式记录：

查看hdfs的压缩文件重定向到本地文件

hdfsdfs-text/test/20170315/FixedDPI.2017031523_99.1489593029667.lzo_deflate>test.txt

取文件的前多少行到另外的文件

head-n1000test.txt>test1.txt

压缩文件小文件：

gziptest1.txt

获取小文件：压缩后的文件

sz-etest1.txt.gz

解压缩文件

gunziptest1.txt.gz

上传到HDFS

hdfsdfs-puttest1.txt/HDFS文件路径