详细介绍虚拟机上单节点安装Hadopp

虚拟机上安装Hadoop 我虚拟机上装的Centos7

一、去Hadoop官网下载安装包  我下载的是2.7.3版本 稳定版
http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
二、解压文件

[root@localhost ~]# tar -xzvf hadoop-2.7.3.tar.gz

三、将解压的文件传到虚拟机的/opt目录上

[root@localhost ~]# scp -r hadoop-2.7.3 root@hadoop1:/opt/

四、免密登录到虚拟机

[root@localhost ~]# ssh-keygen -t rsa

[root@localhost ~]# ssh-copy-id root@虚拟机ip

[root@localhost ~]# ssh root@hadoop1

五、修改网络配置

[root@hadoop1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0 //ifcfg-eth0最后那个数字 不同的机器可能不同

a编辑

TYPE="Ethernet"

BOOTPROTO=static                 //改称静态ip

DEFROUTE="yes"

PEERDNS="yes"

PEERROUTES="yes"

IPV4_FAILURE_FATAL="no"

IPV6INIT="yes"

IPV6_AUTOCONF="yes"

IPV6_DEFROUTE="yes"

IPV6_PEERDNS="yes"

IPV6_PEERROUTES="yes"

IPV6_FAILURE_FATAL="no"

IPV6_ADDR_GEN_MODE="stable-privacy"

NAME="eth0"

UUID="b03048d6-ed1d-4453-9455-12b8fe97caa1"

DEVICE="eth0"

ONBOOT="yes"                    //设置为开机自器

IPADD=192.168.122.154           //ip地址

NETMASK=255.255.255.0           //子网掩码

GATEWAY=192.168.122.1         //网关

DNS1=8.8.8.8               //DNS

Esc退出编辑 ：wq 保存退出

六、修改主机名：修改成比较简单的名字

[root@hadoop1 ~]# vi /etc/hostname

修改后重启虚拟机

[root@hadoop1 ~]# init6

七、做映射

[root@hadoop1 ~]#v vi /etc/hosts

a 编辑

虚拟机的ip 主机名

Esc退出编辑 ：wq 保存退出

八、关闭防火墙

[root@hadoop1 ~]# systemctl stop firewalld.service

九、配值JDK、Hadoop环境变量

[root@hadoop1 ~]# vi /etc/profile

添加

export JAVA_HOME=/usr/local/jdk1.8.0_131

export CLASSPATH=.:$JAVA_HOMe/lib/tools.jar

export HADOOP_HOME=/opt/hadoop-2.7.3

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

十、修改配置文件

[root@hadoop1 ~]# cd /opt/hadoop-2.7.3/etc/hadoop

修改以下文件：

1、hadoop-env.sh

 

    

    export JAVA_HOME=${JAVA_HOME}//${JAVA_HOME}改称JDK的路径

              

 

2、core-site.xml

 

<configuration>

 

    <property>

        <name>fs.default.name</name>

        <value>hdfs://hadoopinit:9000</value>//hadoopinit换成自己的主机名

    </property>

 

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/hadoop/data</value>//产生的数据存放的目录

    </property>

</configuration>

 

3、hdfs-site.xml

 

<configuration>

 

    <property>

        <name>dfs.replication</name>

        <value>1</value>//数据存储的份数

    </property>

</configuration>

 

4、mapred-site.xml   

#cp mapred-site.xml.template mapred-site.xml//复制文件

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

 

5、yarn-site.xml

 

<configuration>

    

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>hadoopinit</value> //hadoopinit改为自己的主机名称

    </property>

    

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

</configuration>

十一、格式化

[root@hadoop1 ~]# hadoop namenode -format

十二、启动Hadoop

[root@hadoop1 ~]# start-all.sh

如果这个方法不能启动可以尝试这个方法

[root@hadoop1 ~]# start-dfs.sh

[root@hadoop1 ~]# start-yarn.sh

[root@hadoop1 ~]# jps

2658 SecondaryNameNode

3013 Jps

2936 NodeManager

2521 DataNode

2809 ResourceManager

2394 NameNode

表示安装成功