Haddop集群的简单搭建

ps:本人初学者，如有错误请多指教，博客里这些内容基本都是自学，请看到本文的大神多多指教。

本人是在虚拟机上用centos 7 和Jdk 1.8 ，hadoop 2.7实验的（之前还想在Ubantu上实验，不过Xssh没有安装成功就暂时放弃了）

先说一下遇到的问题 首先是与宿主机互相ping 不上，后来总结有几个原因，（1）网卡没配置

                                                                                                                          （2）虚拟机连接方式不对（本人用的Net，桥接不好使。其他没试估计host-only会好使）

                                                                                                                           （3）防火墙没关（这项一定要检查，我就因为这个耗费了好多时间）

 有时用Hadoop命令会提示 not found 有两个原因（1）：PATH配置错误这个需要仔细检查

                                                           
4000
                    （2）：修改完profile没有执行source，配置没有生效

搭建时我就遇到这些问题，如果你有其他问题可以拿出来大家一起研究。

步骤：1.安装虚拟机

           2.设置IP

          vi /etc/sysconfig/network     在其中输入NETWORKING=yes

                                                                        GATWAY=（网关）

         vi  /etc/sysconfig/network-sripts/ifcfg-e...(我用了几个版本发现网卡名似乎都不太一样，不过前缀差不多)

        我是直接全部删除然后添加，你可以修改或添加

        TYPE=Ethernet

        IPADDR=(网址)

        NETMASK=（子网掩码）

3.重启网络

service  network restart

4.检查ssh服务状态

systemctl status sshd

5.与宿主机相互ping

不通：检查下防火墙关没关，和配置出没出错，还有链接方式。ping的是虚拟机在宿主机上的虚拟网卡的IP。

关闭防火墙：systemctl stop firewalld(禁用防火墙)

                      system disable firewalld.service（在开机时禁用）

6.用Xshell链接虚拟机，将Hadoop和Jdk上传到Linux

7.安装Jdk

rpm -ivh ./xxx.jdk

输入java -version验证安装是否成功

8.安装Hadoop

tar -zxvf   ./xxx.tar.gz(如果觉得解压后文件夹名字长可以改成简单的，我改成了hadoop)

9.修改hadoop-env.sh

vi  ../hadoop/etc/hadoop/hadoop-env.sh (../为hadoop存放路径)

修改其中JAVA_HOME使其可以找到jdk

找到JAVA_HOME 将其修改为 export JAVA_HOME=../java/default

10.将bin和sbin路径放到PATH中

vi /etc/profile

在文件末尾追加

export PATH=$PATH:/../hadoop/bin:/../hadoop/sbin

存盘退出后执行    source etc/profile (不执行会发生not found 错误)

11.任意目录下敲hadoop看执行

是否成功

按这个方法多设置几台Linux互相Ping

12.给集群各个机器命名

vi   /etc/hosts

在编辑器里输入

网址 + 主机名

13.修改hadoop下 core-site.xml

在其中添加

<property>                                                                                               (属性)

                <name>fs.defaultFS</name>                                                  

                <value>hdfs://namenode主机名或地址：9000</value>        （默认的namenode机器名和端口）

</property>

14.在namenode机器输入

hdfs namenode -format              （格式化namenode）

15.启动namenode

hadoop-daemon.sh   start namenode

16.启动datanode

hadoop-daemon.sh start datanode

结束

ps：此文为本人观看马士兵老师视频结合自己想法所总结的，如有错误请多指教。