单击部署hadoop

硬件:4g内存，4核笔记本一台

软件：ubuntu 64位

如果需要按照双系统，可以参考下面文章
http://blog.csdn.net/tuntunwang/article/details/41593211

1.在开始前，请保证自己的操作系统位数(方便下载部署包)

getconf LONG_BIT

2.还要为机器配置别名（一直localhost或者127.0.0.1不好吧）

sudo nano /etc/hosts  -> 在第一行加入 127.0.0.1 YARN001

3.安装jdk

可以参考这篇文章
http://www.cnblogs.com/a2211009/p/4265225.html

4.官网下载和解压缩hadoop部署包

这里是采用的apache的发行版本
https://archive.apache.org/dist/hadoop/common/
个人建议，尽可能选择新的版本

下载好后，直接解压就好

sudo tar -zxvf hadoop.tar.gz

5.修改配置文件（这里是最容易出问题的地方，要多尝试）

首先切换到hadoop的解压缩目录

hadoop.sh

export JAVA_HOME=解压后的jdk目录

如果忘了或者不确定，可以使用 whereis java

可能会出现多个目录，从里面找出最确定的。如果错了，后面步骤会报错，只需要回头来修改就可以了。

mapred-site.xml

<configuration> </configuration>中添加一下代码

<property>   <name>mapreduce.framework.name</name>     <value>yarn</yarn>     </property>

core-site.xml

同样的 

name  fs.default.name

value  hdfs://YARN001:8020

hdfs-site.xml

name  dfs.replicatation

value  1(副本的个数，目前是单机)

name dfs.namenode.name.dir

value  /hadoop/dfs/name

name  dfs.datanode.data.dir

value  /hadoop/dfs/data

yarn-site.xml

name yarn.nodemanager.aux-services

value  mapreduce_shuffle

6启动hadoop服务

一次全部启动 

sudo sbin/start-all.sh

不建议这种方法。可能会数据加载不完整。

建议先启动hdfs，再启动yarn。

mapreduce不用手动启动。

启动hdfs

部署hadoop的时候，需要格式化namennode。但是下次启动的时候，千万不能再格式化了。

bin/hadoop namenode -format。应该会创建两个目录 hadoop/dfs/name    hadoop/dfs/data。如果没有，就自己在hadoop部署包解压缩目录下创建。

接下来，启动namenode

sudo sbin/hadoop-daemon.sh start namenode

检查是否启动成功

sudo jps

如果提示java_home is not set。说明你的javahome没有配置好。重新配置后，最好重启电脑。

下一步，启动全部的dfs

sudo sbin/start-dfs.sh

如果报错的话，可以先尝试修改hadoop部署包的权限

sudo chmod -R 777 目录

递归的将该目录全开放

再次启动dfs，查看进程。如果发现，只是启动了secondary Namenode，没有firstnamenode.

如果出现了异常信息，可以查看logs下面的log文件。例如 sudo nano hadoop-wangtuntun-namenode-wangtuntun-ThinkPad-E420.log

就像我自己出现的问题，打开log日志，提示：不存在目录 home/dfs/data.

我的修改办法是在hadoop解压目录下，新建目录 my_dfs/data  my_dfs/name。然后修改hdfs-site.xml ，将value改为 my_dfs/data   my_dfs/name   注意前面没有'/'

一般做了修改后，需要先格式化namenode和重启电脑

中间可能会不停的让你输入密码，然后提示密码错误，不用管。

最后确定下你的hdfs是否启动成功，在浏览器地址栏输入 http://YARN001:50070

启动yarn

sudo sbin/start-yarn.sh

在浏览器地址栏输入 http://YARN001:8088

测试mapreduce

在部署包的解压缩目录下有自带的数据和代码

sudo bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples 2.2.0.jar pi 2 100

7关闭hadoop

sudo sbin/stop-yarn.sh

sudo sbin/stop-dfs.sh

8一定注意

下次启动hadoop的时候，一定不能再执行格式化命令

bin/hadoop namenode-format