Ubuntu搭建Hadoop --伪分布式模式 ----官方文档翻译

本例环境为Ubuntu-Server-15.10  Hadoop-2.7.2 Hadoop1.X.X和Hadoop2.X.X  API和目录结构、配置文件都有很大不同，之前按照某书（用的例子是Hadoop1.0.1）安装，结果出现很多问题。。。。后来经过一番周折解决了，能起来了，但是其实有很多问题。最后得出一个结论：官方文档最好用！

官方不建议使用sbin/start-all.sh 启动（执行该脚本有This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh提示： 该脚本以弃用，用start-dfs.sh 和 start-yarn.sh替代使用）使用这个重启Hadoop出现过8080、50070端口的服务没起，重新format一下文件系统再启动，50070起来了。

这是Hadoop-2.7.2（2016-01-26）版本的官方文档，地址为http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation

1.配置Java环境，安装jdk 我用的最新版本 Java 8

2.配置ssh远程连接，我用的apt-get方式默认安装。可以配置为ssh无密码登录，我用的默认登录模式（需要密码）

3.安装配置Hadoop

①To get a Hadoop distribution, download a recent stable release from one of the Apache
Download Mirrors
从Apache
Download Mirrors下载得到一个最新的稳定Hadoop发行版

②Unpack the downloaded Hadoop distribution. In the distribution, edit the file etc/hadoop/hadoop-env.sh to
define some parameters as follows:

解压下载得到的Hadoop发行版，编辑文件etc/hadoop/hadoop-env.sh 定义一些参数，如下：

# set to the root of your Java installation 设置你的Java安装根目录
export JAVA_HOME=/usr/java/latest

Try the following command:试一下以下目录：

$ bin/hadoop

Pseudo-Distributed Operation 伪分布式操作

Hadoop can also be run on a single-node in a pseudo-distributed mode where each Hadoop daemon runs in a separate Java process. Hadoop也可以以单节点伪分布式模式运行，此时每个Hadoop daemon运行在一个独立的Java进程里。（伪分布式可看作只有一个节点的集群，这个节点 既是master也是slave）

Configuration 配置

Use the following: 使用以下示例：etc/hadoop/core-site.xml:

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

Setup passphraseless ssh 设置无密码ssh

Now check that you can ssh to the localhost without a passphrase: 现在可以检查你是否可以不用密码使用ssh登录到localhost （这一步其实可以不用设置，只是后面启动Hadoop会需要密码）

$ ssh localhost

If you cannot ssh to localhost without a passphrase, execute the following commands: 如果你不可以不用密码使用ssh登录到localhost，执行如下命令：

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys

Execution 执行

The following instructions are to run a MapReduce job locally. 以下教程用来运行一个本地MapReduce任务。Format the filesystem:格式化文件系统：

$ bin/hdfs namenode -format

Start NameNode daemon and DataNode daemon:启动NameNode daemon和DataNode daemon

$ sbin/start-dfs.sh

The hadoop daemon log output is written to the $HADOOP_LOG_DIR directory (defaults to $HADOOP_HOME/logs).Hadoop daemon 日志在$HADOOP_LOG_DIR 目录下面（默认 $HADOOP_HOME/logs）

Browse the web interface for the NameNode; by default it is available at:浏览NameNode的web入口 它默认在： http://localhost:50070/