Hadoop常用命令及常见问题

Hadoop

winutils.exe in the hadoop binaries

Apache 官方发行版的Hadoop的bin目录下没有winutils.exe文件。解决方法：自己在Windows平台上编译或者下载网上别人编译好的Hadoop 2.6.0 Windows 64-bit Binaries

Hadoop移植到Windows需要做的改变

How To Install Hadoop on Windows with HDP 2.0

Build and Install Hadoop 2.x or newer on Windows

Apache Hadoop docs

在windows上编译Hadoop

Google Protocol Buffer 的使用和原理

Build and Install Hadoop 2.x or newer on Windows上有运行示例

hadoop 常用命令

启动、关闭Hadoop

进入HADOOP_HOME目录

已弃用

启动：

sh bin/start-all.sh

关闭：

sh bin/stop-all.sh

查看指定目录下内容

hadoop dfs -ls [文件目录]

打开某个已存在文件

hadoop dfs -cat [file_path]

将本地文件/文件夹存储至Hadoop

hadoop fs -put [本地目录/本地文件] [hadoop目录]

将Hadoop上某个文件down至本地已有目录下

hadoop fs -get [文件目录][本地目录]

删除Hadoop上指定文件

hadoop fs -rm [文件地址]

删除Hadoop指定文件夹

hadoop fs -rmr [目录地址]

在hadoop指定目录内创建新目录

hadoop fs -mkdir [目录名]

在hadoop指定目录下新建一个空文件

使用touchz命令

hadoop fs -touchz [文件名]

文件重命名

hadoop fs -mv [原文件名] [新文件名]

将hadoop指定目录下所有内容保存到一个文件，同时下载到本地

hadoop dfs -getmerge [hadoop目录] [本地目录] [addnl]

addnl是可选的，用于指定在每个文件结尾添加一个换行符。

Hadoop命令手册

Intellij IDEA 搭建Hadoop开发环境