hadoop伪分布安装

解压

将安装包hadoop-2.2.0.tar.gz存放到/home/haozhulin/install/目录下，并解压

#将hadoop解压到/home/haozhulin/install路径下，定位目录到/home/haozhulin/install

tar –zxvf hadoop-2.2.0.tar.gz –C /home/haozhulin/install/

或者先让其有执行权限，然后直接./就可以解压

chmod
+x hadoop-2.2.0.tar.gz    

./hadoop-2.2.0.tar.gz

修改解压后的目录中的文件夹etc/hadoop下的xml配置文件（如果文件不存在，则自己创建），后面开始修改配置文件6个：

在/home/haozhulin/install/hadoop-2.2.0/etc/hadoop/下的

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

slaves

修改hadoop-env.sh

配置hadoop的jdk版本环境

cd /home/haozhulin/install/hadoop-2.2.0/etc/hadoop/

vim hadoop-env.sh

hadoop-env.sh为hadoop环境变量，依赖JDK，进行如下修改

#第27行

export JAVA_HOME=/home/haozhulin/install/java/jdk1.7.0_65

修改core-site.xml

在其<configuration></ configuration >中插入：

<!-- 制定HDFS的老大（NameNode）的地址 -->

<property>

    <name>fs.default.name</name>

    <!--<name>fs.defaultFS</name>-->

    <value>hdfs://whaozl001:9000</value>

</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->

<property>

    <name>hadoop.tmp.dir</name>

    <value>/home/haozhulin/install/hadoop-2.2.0/tmp</value>

</property>

上面写的whaozl001是主机名，也可以更改为地址入10.30.30.1，端口号9000也可以是其他的。需要注意的是whaozl001是在/etc/hosts/中设置的host，如果未设置，需要更换为localhost，最好设置，见1.2.7。

/home/haozhulin/install/hadoop-2.2.0/tmp为手动创建的haozhulin文件夹下的tmp目录下。

修改hdfs-site.xml

在其<configuration></ configuration >中插入：

<!-- 指定HDFS副本的数量 -->

<property>

    <name>dfs.replication</name>

    <value>1</value>

</property>

由于这里是伪分布，只有一台机器，只保存一份。

问题：当采用虚拟机搭建hadoop环境时，每次虚拟机重启后，hadoop无法启动成功？

解决方案：在hdfs-site.xml中增加以下两个配置项：

<!--配置NameNode元信息存放的路径-->

<property>

    <name>dfs.namenode.name.dir</name>

    <value>/home/haozhulin/install/hadoop-2.2.0/dfs/name</value>

</property>

<!--配置DataNode数据信息存放的路径，可配置多个，逗号隔开-->

<property>

    <name> dfs.datanode.data.dir </name>

    <value>/home/haozhulin/install/hadoop-2.2.0/dfs/data</value>

</property>

其中，各个目录一定要是非/tmp下的目录，dfs.namenode.name.dir属性可以配置多个目录，如/data1/dfs/name,/data2/dfs/name, /data3/dfs/name,….。各个目录存储的文件结构和内容都完全一样，相当于备份，这样做的好处是当其中一个目录损坏了，也不会影响到 Hadoop的元数据，特别是当其中一个目录是NFS（网络文件系统Network File System，NFS）之上，即使你这台机器损坏了，元数据也得到保存。

修改mapred-site.xml

在里面没有mapred-site.xml文件，但是提供了mapred-site.xml.template模板文件，将其重命名为mapred-site.xml文件，然后进行配置(后续不再重述)。

#cp命令也可以，mv为重命名命令

mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

再在其<configuration></ configuration >中插入：

<!-- 指定mr运行在yarn上 -->

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

mr为mapReduce，将mapReduce配置到yarn上运行

修改yarn-site.xml

在其<configuration></ configuration >中插入：

<!-- 指定YARN的老大(ResourceManager)的地址 -->

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>whaozl001</value>

</property>

<!-- reducer获取数据的方式 -->

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

修改slaves

#定位到/home/haozhulin/install/hadoop-2.2.0/etc/hadoop/slaves文件

vim etc/hadoop/slaves

#由于是单机伪分布，所以DataNode就只有localhost

#不需要修改，也可以改为127.0.0.1，都是指本机

 

将hadoop添加到环境变量

将hadoop添加到环境变量之后，可直接在命令窗口中使用hadoop命令(替换了其对应hadoop所在的路径)。

#指定到环境变量文件

vim /etc/profile

做如下修改：

#java environment

export JAVA_HOME=/home/haozhulin/install/java/jdk1.7.0_09

export HADOOP_HOME=/home/haozhulin/install/hadoop-2.2.0

export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

然后刷新环境变量配置

source /etc/profile

【注意】最好是安装JDK同时，把HADOOP_HOME也配置好，后续方便(各DataNode机就不用麻烦)。

格式化namenode

这里所有配置当前路径应该是/home/haozhulin/install/hadoop-2.2.0/bin下

这里是对HDFS的namenode进行格式化。

#hadoop namenode –format 该命令过时了，但是依然可用

#进入hadoop位置/home/haozhulin/install/hadoop-2.2.0/bin/hadoop

which hadoop

#hdfs位置#/home/haozhulin/install/hadoop-2.2.0/bin/hdfs

which hdfs

之前配置core-site.xml时配置了一个tmp目录(非临时文件目录)

#新命令格式化namenode，产生tmp目录

hdfs namenode -format

【注意】如果没有配置hadoop环境变量，则格式化须使用：

#该命令过时

bin/hadoop namenode –format

#采用如下命令(同上)

bin/hdfs namenode -format

启动hadoop

这里可以一次用./sbin/start-all.sh启动所有，但是一般是先启动HDFS，然后启动yan(因为启动all会多次要求输入root密码)，而且start-all.sh命令已经过时。

#先启动HDFS

sbin/start-dfs.sh

#再启动yarn

sbin/start-yarn.sh

单独启动HDFS：

#跳转到hadoop-2.2.0目录下

sbin/hadoop-daemon.sh start namenode

sbin/hadoop-daemon.sh start datanode

单独启动yarn:

sbin/yarn-daemon.sh start nodemanager

sbin/yarn-daemon.sh start resourcemanager

验证hadoop启动成功

使用jps命令验证

jps

27408 NameNode

28218 Jps

27643 SecondaryNameNode

28066 NodeManager

27803 ResourceManager

27512 DataNode

jps为Java命令(which jps)
http://10.30.30.1:50070 (HDFS管理界面)
http://10.30.30.1:8088 (MapReduce管理界面)

表 2.1 hadoop各进程关系

进程	关系	含义
ResourceManager	yarn的老大	负责资源调度分配给 mapreduce/spark/storm
NodeManager	yarn的小弟	负责干活
NameNode	hdfs的老大	负责接收用户请求，数据映射关系
DataNode	hdfs的小弟	负责存储数据
SecondaryNameNode	NameNode的助理	不是NameNode的热备 协助NameNode

NameNode一般是多个，一般配置一个主一个备。

hdfs测试(下载和上传)

#将/root/jdk-7u9-linux-i586.gz文件上传到hdfs/下并重命名为jdk

hadoop fs –put /root/jdk-7u9-linux-i586.gz hdfs://whaozl001:9000/jdk

然后通过http://10.30.30.1:50070(HDFS管理界面)里面的点击Browse the filesystem NameNode logs查看，也可以在里面下载。

可以将hadoop的系统理解为一个网盘。

#命令方式下载jdk并重命名为jdk1.7

hadoop fs –get hdfs://whaozl001:9000/jdk /home/jdk1.7

#解压这个文件

tar –zxvf jdk1.7

测试MapReduce和YARN

/home/haozhulin/install/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar下就是多个mapreduce的例子，里面有一个wordcount例子

#查看后面还需要跟哪些参数,wordcount需要一个输入一个输出

hadoop jar hadoop-mapreduce-expamples-2.2.0.jar

#弄一个words文件，里面有很多单词，将其上传到hdfs

hadoop fs –put /words hdfs://whaozl001:9000/words

#显示hdfs下的所有文件

hadoop fs –ls hdfs://whaozl001:9000

#测试examples中的wordcount例子

hadoop jar hadoop-mapreduce-expamples-2.2.0.jar wordcount hdfs://whaozl001:9000/words hdfs://whaozl001:9000/wcount

#查看结果

hadoop fs –ls hdfs://whaozl001:9000

检验错误

错误都保存在/home/haozhulin/install/hadoop-2.2.0/logs目录下

cd /home/haozhulin/install/hadoop-2.2.0/

ls

cd logs