记录配置Hadoop+zookeeper+Hbase的完整过程(四)
2017-04-30 01:44
459 查看
在之前的过程中,完成了centOS系统的安装,但是目前只有一个Linux系统,为了创建集群,需要再克隆出另外两个centOS系统,这三个系统中,一个作为master结点,其他两个分别作为slave1和slave2结点,由于内存限制,不可能每个centOS都分配1G的内存,而今后的编程主要在master机器上进行,需要安装Eclipse软件什么的,所以另外两个slave结点的内存分别分配512M就行。为了减少重复操作,先将master上基本的配置完成后,再进行克隆。
在master结点中的操作如下:
1、设置网络和时间
在安装的时候选择NAT模式的话,可以直接使用物理机网络,时间也设置成与网络同步,因为在Hbase环境中要保证三个结点机器的时间是同步的。
2、安装VMware tools
安装VMware tools是为了方便虚拟机和物理机之间的文件传递,不是必要的,根据实际需求选择是否安装。
步骤如下
2.1在菜单栏选择虚拟机>安装VMware tools
在centOS中会弹出如下窗口
2.2解压缩和安装
右键单击压缩包,解压到桌面。打开终端,输入命令进入解压后的目录,执行安装文件(执行安装时要切换为root用户【su命令】),之后一直回车就OK
3、设置静态IP
为了防止在搭建完集群后,重启虚拟机IP地址发生变化,导致需要重新配置,最好设置静态IP,网上方法很多,就随便贴一个链接吧
http://www.cnblogs.com/magialmoon/archive/2013/08/10/3250393.html
4、使当前的一般用户成为sudoer
输入su切换到root用户,cd命令进入/etc目录下,编辑文件sudoers,在root ALL=(ALL) ALL的下一行增加”zfy ALL=(ALL) ALL”,编辑完成后按ESC键,输入”:wq!”保存并退出
5、创建hadoop文件夹
切换回zfy用户,在适当的目录创建hadoop文件夹,之后相关的软件都会安装在此目录下
6、安装JDK
6.1 下载jdk
我的centOS是64位系统,所以选择的是jdk8 64bit for Linux,可以去官网下载
http://www.oracle.com/technetwork/java/javase/downloads/index.html
6.2 安装jdk
下载完成后将安装包放在之前创建的hadoop目录下,解压安装文件,命令如下,等待安装完成
6.3 配置jdk环境变量
su进入root目录,编辑profile文件,并执行source命令使之生效
编辑内容如下:在文件的最后加入如下语句
检查jdk是否配置成功,在终端输入”java -version”,成功
4000
后如图所示
7、创建虚拟机集群
7.1 克隆虚拟机
通过以上步骤已经完成了基本配置,将已经安装好jdk的虚拟机克隆两个,创建三个虚拟机的集群。克隆之前需要先关闭master,克隆类型选择完整克隆。创建克隆完成后记得修改第2、3个虚拟机的内存。
7.2 更改另两个虚拟机主机名
将克隆得到的两个虚拟机分别修改主机名为salve1、slave2,步骤如下
su进入root账户,编辑/etc/sysconfig/network文件,HOSTNAME=slave1、HOSTNAME=slave2,重新启动虚拟机
进行一系列主机名和ip设置后,集群中三个节点的信息如下:
注:为防止在配置完集群后,每次重启机器IP地址发生变化,最好三台机器都设置为静态IP
8、将三个虚拟机的IP地址相互连接
8.1 编辑hosts文件
在master中,进入root账户,执行以下命令
在hosts文件中添加:
另外两个虚拟机按上述步骤建立一样的hosts文件
8.2 检查各虚拟机是否互联
在master中执行以下命令:
出现如下情况说明虚拟机已经互联成功
在master结点中的操作如下:
1、设置网络和时间
在安装的时候选择NAT模式的话,可以直接使用物理机网络,时间也设置成与网络同步,因为在Hbase环境中要保证三个结点机器的时间是同步的。
2、安装VMware tools
安装VMware tools是为了方便虚拟机和物理机之间的文件传递,不是必要的,根据实际需求选择是否安装。
步骤如下
2.1在菜单栏选择虚拟机>安装VMware tools
在centOS中会弹出如下窗口
2.2解压缩和安装
右键单击压缩包,解压到桌面。打开终端,输入命令进入解压后的目录,执行安装文件(执行安装时要切换为root用户【su命令】),之后一直回车就OK
3、设置静态IP
为了防止在搭建完集群后,重启虚拟机IP地址发生变化,导致需要重新配置,最好设置静态IP,网上方法很多,就随便贴一个链接吧
http://www.cnblogs.com/magialmoon/archive/2013/08/10/3250393.html
4、使当前的一般用户成为sudoer
输入su切换到root用户,cd命令进入/etc目录下,编辑文件sudoers,在root ALL=(ALL) ALL的下一行增加”zfy ALL=(ALL) ALL”,编辑完成后按ESC键,输入”:wq!”保存并退出
[zfy@master ~]$ su Password: [root@master zfy]# cd /etc [root@master etc]# vi sudoers [root@master etc]#
5、创建hadoop文件夹
切换回zfy用户,在适当的目录创建hadoop文件夹,之后相关的软件都会安装在此目录下
[root@master etc]# su zfy [zfy@master etc]$ cd / [zfy@master /]$ cd /home/zfy [zfy@master ~]$ ls Desktop Documents Downloads Music Pictures Public Templates Videos [zfy@master ~]$ mkdir hadoop [zfy@master ~]$ ls Desktop Downloads Music Public Videos Documents hadoop Pictures Templates [zfy@master ~]$
6、安装JDK
6.1 下载jdk
我的centOS是64位系统,所以选择的是jdk8 64bit for Linux,可以去官网下载
http://www.oracle.com/technetwork/java/javase/downloads/index.html
6.2 安装jdk
下载完成后将安装包放在之前创建的hadoop目录下,解压安装文件,命令如下,等待安装完成
[zfy@master hadoop]$ cd /home/zfy/hadoop/ [zfy@master hadoop]$ tar -zxvf jdk-8u121-linux-x64.tar.gz
6.3 配置jdk环境变量
su进入root目录,编辑profile文件,并执行source命令使之生效
[zfy@master hadoop]$ su Password: [root@master hadoop]# vi /etc/profile [root@master hadoop]# source /etc/profile
编辑内容如下:在文件的最后加入如下语句
JAVA_HOME=/home/zfy/hadoop/jdk1.8.0_121 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME export PATH
检查jdk是否配置成功,在终端输入”java -version”,成功
4000
后如图所示
7、创建虚拟机集群
7.1 克隆虚拟机
通过以上步骤已经完成了基本配置,将已经安装好jdk的虚拟机克隆两个,创建三个虚拟机的集群。克隆之前需要先关闭master,克隆类型选择完整克隆。创建克隆完成后记得修改第2、3个虚拟机的内存。
7.2 更改另两个虚拟机主机名
将克隆得到的两个虚拟机分别修改主机名为salve1、slave2,步骤如下
su进入root账户,编辑/etc/sysconfig/network文件,HOSTNAME=slave1、HOSTNAME=slave2,重新启动虚拟机
进行一系列主机名和ip设置后,集群中三个节点的信息如下:
master 172.168.149.129 slave1 172.168.149.130 slave2 172.168.149.131
注:为防止在配置完集群后,每次重启机器IP地址发生变化,最好三台机器都设置为静态IP
8、将三个虚拟机的IP地址相互连接
8.1 编辑hosts文件
在master中,进入root账户,执行以下命令
[zfy@master ~]$ su Password: [root@master zfy]# cd /etc/ [root@master etc]# vi /etc/hosts
在hosts文件中添加:
另外两个虚拟机按上述步骤建立一样的hosts文件
8.2 检查各虚拟机是否互联
在master中执行以下命令:
ping slave1 ping slave2
出现如下情况说明虚拟机已经互联成功
相关文章推荐
- 记录配置Hadoop+zookeeper+Hbase的完整过程(六)
- 立个flag——记录配置Hadoop+Zookeeper+HBase的完整过程(一)
- 记录配置Hadoop+zookeeper+Hbase的完整过程(三)
- 记录配置Hadoop+zookeeper+Hbase的完整过程(五)
- 记录配置Hadoop+zookeeper+Hbase的完整过程(二)
- Hadoop、Zookeeper、Hbase集群安装配置过程及常见问题(一)准备工作
- ubuntu 编译 hadoop 2.2.0 和hbase 0.96.1 过程记录
- hadoop学习(八)Hadoop2.2.0+HA+zookeeper3.4.5详细配置过程+错误处理(1)
- hbase的安装与配置(zookeeper3.4.3,hbase0.94.1,hadoop1.03)
- Hadoop + Hbase + Zookeeper安装及配置完整版(Hadoop1系列)
- hadoop1.2.1+zookeeper-3.4.5+hbase-0.94.1集群安装过程详解
- hadoop+zookeeper+hbase安装、配置及应用实例
- 集群环境下配置hadoop1.0,zookeeper,hbase
- android 最新 NDK r8 在window下开发环境搭建 安装配置与使用 详细图文讲解,完整实际配置过程记录
- Hadoop+Hbase+ZooKeeper 安装配置及需要注意的事项
- hadoop+zookeeper+hbase安装、配置及应用实例
- Hadoop+Hbase+ZooKeeper 安装配置及需要注意的事项
- android 最新 NDK r8 在window下开发环境搭建 安装配置与使用 详细图文讲解,完整实际配置过程记录
- Hadoop+ZooKeeper+HBase集群配置
- hadoop-1.0.4 hbase-0.94.10 zookeeper-3.4.5集群配置