Hadoop操作模式

下载 Hadoop 以后，可以操作Hadoop集群以以下三个支持模式之一：

下载Hadoop在系统中，默认情况下之后，它会被配置在一个独立的模式，用于运行Java程序。

模拟分布式模式：
这是在单台机器的分布式模拟。Hadoop守护每个进程，如： hdfs, yarn, MapReduce 等，都将作为一个独立的java程序运行。这种模式对开发非常有用。

完全分布式模式：
这种模式是完全分布式的最小两台或多台计算机的集群。

搭建伪分布式:

修改IP地址

vi /etc/sysconfig/network-scripts/ifconfig-eth0  // 打开网卡配置文件

onboot=yes  //改为 yes

bootproto=static  //这里要改为静态

IPADDR=192.168.83.xxx   //修改 IP

netmask=255.255.255.0  //子网掩码

gateway=192.168.83.2  //这里写自己的网关

修改dns

vi /etc/resolv.conf

nameserver 8.8.8.8

重启IP服务

service network restart   //重启防火墙

关闭防火墙

service iptables stop     //关闭防火墙

chkconfig iptables off    //开启禁止开发防火墙

修改映射关系

vi /etc/hosts   //修改主机名

vi /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=虚拟机名

安装Java

tar -zxvf jar         //包名     可以看见解压状态

vi /etc/profile.d/java.sh    //配置环境变量

JAVA_HOME=/soft/jdk

PATH=$PATH:$JAVA_HOME/bin

CLASSPATH=$CLASSPATH:$JAVA_HOME/lib

export JAVA_HOME PATH CLASSPATH  //导出

source /etc/profile.d/java.sh  //执行java.sh文件

java -version  //检查是否配置成功
//如果出来版本信息证明配置成功

安装hadoop

tar -zxvf        //  文件名    可以看见解压状态   并配置环境变量

vi /etc/profile.d/hadoop.sh

HADOOP_HOME=/soft/hadoop

PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_HOME PATH  //导出

source /etc/profile.d/hadoop.sh     //执行hadoop.sh文件

hadoop version   //检查是否配置成功

如果出来版本信息证明配置成功

配置hadoop的相关配置文件 /soft/hadoop/etc/hadoop

配置core-site.xml文件

core-site.xml 文件中包含如读/写缓冲器用于Hadoop的实例的端口号的信息，分配给文件系统存储，用于存储所述数据存储器的限制和大小。

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>   //master要改为自己的虚拟机名称
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp</value>
</property>
</configuration>

配置hdfs-site.xml文件

hdfs-site.xml 文件中包含如复制数据的值，NameNode路径的信息，本地文件系统的数据节点的路径，这意味着是存储Hadoop基础工具的地方。

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/hadoop/tmp/dfs/data</value>
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>

配置mapred-site.xml

将mapred-site.xml.template 复制一份 改名为 mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

配置yarn-site.xml文件

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

安装ssh

yum -y install openssh-clients openssh-server   //生成公钥和私钥

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa    //（注意 p是大写）

# cd ~/.ssh    //进入目录

cp id_rsa.pub  authorized_keys   //将公钥 导入到秘钥库  其实就是个复制文件

测试:

ssh localhost    //如果不用再输入密码了 则成功

启动hadoop

hadoop namenode -format   //格式化

start-all.sh //启动hadoop进程

jps  //  查看进程

有以下五个进程说明搭建成功

NameNode
NodeManager
DataNode
SecondaryNameNode
ResourceManager

访问Hadoop

访问Hadoop默认端口号为 50070，使用以下网址获得浏览器Hadoop的服务。

http://localhost:50070  //localhost 这里要写自己的虚拟机IP地址

验证所有应用程序的集群

访问集群中的所有应用程序的默认端口号为8088。使用以下URL访问该服务。

http://localhost:8088/   //localhost 这里要写自己的虚拟机IP地址

如果ssh连接出现The authenticity of host can’t be established的问题

修改 /etc/ssh/ssh_config 文件的配置，以后则不会再出现此问题

在最后面添加:

StrictHostKeyChecking no UserKnownHostsFile /dev/null