hadoop安装［未完待续］

硬件

三台虚拟机

硬件：

CPU：2*3核

内存：16G

磁盘：500G（SATA）

操作系统：

ubuntu 14.04

软件安装

配置修改

安装包：hadoop-2.7.1.tar.gz

解压后进入目录

etc/hadoop/core-site.xml

修改如下：

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

etc/hadoop/mapred-site.xml.template

修改如下：

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

etc/hadoop/hdfs-site.xml

修改如下：

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/tmp/dfs/data</value>
</property>
</configuration>

etc/hadoop/hadoop-env.sh

修改如下：

...
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-amd64
...

HDFS系统

bin/hdfs namenode -format

NameNode和DataNode进程

sbin/start-dfs.sh

总结下完整启动

bin/hdfs namenode -format
sbin/start-dfs.sh

bin/hdfs namenode -format

在后续执行的时候，让输入Y/N的时候，选择N，否则会出问题，解决办法参考后续

重启后datanode启动失败

查看结果

jps

10517 DataNode

10364 NameNode

10710 SecondaryNameNode

10914 Jps

http://127.0.0.1:50070

问题

jdk

root@h1:/hadoop/install/hadoop-2.7.1# sbin/start-dfs.sh
Starting namenodes on [localhost]
root@localhost's password:
localhost: Error: JAVA_HOME is not set and could not be found.

etc/hadoop/hadoop-env.sh

中有java home的设定位置，直接配置下就好

密码错误

root@h1:/hadoop/install/hadoop-2.7.1# sbin/start-dfs.sh
Starting namenodes on [localhost]
root@localhost's password:
localhost: Permission denied, please try again.

重新设定一下密码即可：

sudo passwd

，然后继续安装

重启后datanode启动失败

断电后依次执行启动命令，format的时候，选择了Y，会重新格式化，导致data和name中的VERSION不一致。

这时候执行

sbin/start-dfs.sh

，datanode就一直启动失败。

解决办法：

/hadoop/tmp/dfs能看到 data和name两个文件夹，将name/current下的VERSION中的clusterID复制到data/current下的VERSION中，覆盖掉原来的clusterID，让两个保持一致，然后重启，OK。