hadoop-2.7.4+hbase-1.3.1+zookeeper-3.4.9搭建分布式集群环境
2018-03-08 16:41
701 查看
http://blog.51cto.com/xiong51/2047261
# 系统信息3台系统: centos6.8内核:4 内存:4G 硬盘:50G# 主机名称,ip地址master: 192.168.1.110slave1: 192.168.1.111slave2: 192.168.1.112
######################## 软件下载地址 ######################## 链接:https://pan.baidu.com/s/1dFuBnKt 密码:rhwu######################## 基础初始配置 ######################### 版本选择jdk-8u77-linux-x64.rpmzookeeper-3.4.9.tar.gzhbase-1.3.1-bin.tar.gzhadoop-2.7.4.tar.gz
# 配置hosts文件,三台机器都需要[root@master ~]# cat /etc/hosts192.168.1.110 master192.168.1.111 slave1192.168.1.112 slave2
# 配置用户
# 所有的主机 hbase,zookeeper 安装目录都在此处
######################## 时间配置 ######################### 双机互信主要有三步:①生成公钥和私钥②导入公钥到认证文件③更改权限
# 主机与从机之间必须可以双向无密码登陆,从机与从机之间无限制
# 同步时间
# 时间一定要保持一致
######################## 防火墙配置 ########################
# 防火墙配置 所有的主机上都得配置,或者开放 (2181,2888:3888端口,这部分端口是zookeeper端口)
######################## JDK配置 ########################
# 安装jdk,并配置环境变量,三台机器都需要安装 # 设置环境变量
# 重新加载配置文件使之生效[root@slave2 ~]# source /etc/profile.d/java.sh
# 查看是否配置完成,3台机器都需要测试[root@slave2 ~]# java -versionjava version "1.8.0_77"Java(TM) SE Runtime Environment (build 1.8.0_77-b03)Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)
######################## zookeeper集群配置 ######################### 参考文档: http://blog.csdn.net/reblue520/article/details/52279486 # 注意:zookeeper因为有主节点和从节点的关系,所以部署的集群台数最好为奇数个,否则可能出现脑裂导致服务异常
# 下载地址: http://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz# 注意三台机器都需要安装,如果对ansible熟悉的话 可以直接使用它
# 安装zookeeper
# 弄一个软链接,配置文件直接指向这个地址,未来方便更新版本
# 创建数据以及日志目录,将设置属主属组权限
# 在zoo.cfg中的dataDir指定的目录下,新建myid文件。# 例如:$ZK_INSTALL/data下,新建myid。在myid文件中输入1。表示为server.1。echo "1" > data/myid 这里表示的是server.1 如果是第二个机器那么表示server.2
启动:在集群中的每台主机上执行如下命令bin/zkServer.sh start
查看状态,可以看到
1f5d7
其中一台为主节点,其他两台为从节点:bin/zkServer.sh status
# 启动zookeeper集群
# 从节点
# 启动报错 说明没有配置myid文件,
# 这里是因为防火墙开着,没有开放端口的原因
######################## hbase 与hadoop的版本需要对应 ######################## http://blog.csdn.net/shuaigexiaobo/article/details/78114221 低版本与高版本会安不上,还需要注意jdk版本
######################## hadoop 集群配置 ########################
# 软件放置路径为初级配置的路径 /opt/hadoop
# 配置属主属组权限
# 环境变量设置
# 复制到其它主机中
# 加载环境变量
# 查看是否生效
# hadoop配置文件在放置于/opt/hadoop/hadoop/etc/hadoop
# 配置从节点 先删除localhost
# 三台机器都是一样的配置,放置相同的路径
# 使用ansible或者手动直接软链接过去就行
# 配置属主属组文件
# 进入master的/opt/hadoop/hadoop目录,执行以下操作
# 启动hadoop服务
# 查看进程 会发现多了资源名称节点以及namanode
# 登陆其它节点 会发现多了一个数据节点
######################## hbase集群配置 ######################### 软件放置路径为初级配置的路径 /opt/hadoop
# 配置文件目录 /opt/hadoop/hbase/confvim hbase-env.sh
vim hbase-site.xml # 配置站点信息
vim regionservers# 配置从节点 一定要对应上
# 设置软链接,方便未来升级[root@master hadoop]# ansible hbase -m shell -a "ln -sv /opt/hadoop/hbase-1.3.1 /opt/hadoop/hbase"# 设置属主属组权限[root@master hadoop]# ansible hbase -m shell -a "chown hadoop.hadoop /opt/hadoop/hbase-1.3.1 -R"
# 启动三台机器上的 hbase服务[root@master hadoop]# ansible hbase -m shell -a "/opt/hadoop/hbase-1.3.1/bin/start-hbase.sh"
# 只需要启动master上的,其它机器上会自动启动[root@master hadoop]# /opt/hadoop/hbase/bin/start-hbase.sh # 查看master上的服务
# 查看slave上的从节点服务
# 进入hbase shell进行验证 /opt/hadoop/hbase/bin/hbase shell
#### 此处打开的地址都是 master 的IP , 192.168.1.110
# 系统信息3台系统: centos6.8内核:4 内存:4G 硬盘:50G# 主机名称,ip地址master: 192.168.1.110slave1: 192.168.1.111slave2: 192.168.1.112
######################## 软件下载地址 ######################## 链接:https://pan.baidu.com/s/1dFuBnKt 密码:rhwu######################## 基础初始配置 ######################### 版本选择jdk-8u77-linux-x64.rpmzookeeper-3.4.9.tar.gzhbase-1.3.1-bin.tar.gzhadoop-2.7.4.tar.gz
# 配置hosts文件,三台机器都需要[root@master ~]# cat /etc/hosts192.168.1.110 master192.168.1.111 slave1192.168.1.112 slave2
# 配置用户
######################## 防火墙配置 ########################
# 防火墙配置 所有的主机上都得配置,或者开放 (2181,2888:3888端口,这部分端口是zookeeper端口)
# 安装jdk,并配置环境变量,三台机器都需要安装 # 设置环境变量
# 查看是否配置完成,3台机器都需要测试[root@slave2 ~]# java -versionjava version "1.8.0_77"Java(TM) SE Runtime Environment (build 1.8.0_77-b03)Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode)
######################## zookeeper集群配置 ######################### 参考文档: http://blog.csdn.net/reblue520/article/details/52279486 # 注意:zookeeper因为有主节点和从节点的关系,所以部署的集群台数最好为奇数个,否则可能出现脑裂导致服务异常
# 下载地址: http://archive.apache.org/dist/zookeeper/zookeeper-3.4.9/zookeeper-3.4.9.tar.gz# 注意三台机器都需要安装,如果对ansible熟悉的话 可以直接使用它
启动:在集群中的每台主机上执行如下命令bin/zkServer.sh start
查看状态,可以看到
1f5d7
其中一台为主节点,其他两台为从节点:bin/zkServer.sh status
# 启动zookeeper集群
######################## hadoop 集群配置 ########################
# 软件放置路径为初级配置的路径 /opt/hadoop
# 启动三台机器上的 hbase服务[root@master hadoop]# ansible hbase -m shell -a "/opt/hadoop/hbase-1.3.1/bin/start-hbase.sh"
# 只需要启动master上的,其它机器上会自动启动[root@master hadoop]# /opt/hadoop/hbase/bin/start-hbase.sh # 查看master上的服务
相关文章推荐
- hadoop-2.7.4+hbase-1.3.1+zookeeper-3.4.9搭建分布式集群环境
- 分布式集群环境hadoop、hbase、zookeeper搭建(全)
- 伪分布式集群环境hadoop、hbase、zookeeper搭建
- 配置密码分布式集群环境hadoop、hbase、zookeeper搭建(全)
- 分布式集群环境hadoop1.2.0、hbase0.94.4、zookeeper、elasticsearch搭建
- 分布式集群环境hadoop1.2.0、hbase0.94.4、zookeeper、elasticsearch搭建2
- 伪分布式集群环境hadoop、hbase、zookeeper搭建(全)
- hadoop完全分布式环境搭建,整合zookeeper,hbase,spark,hive,hue
- Hadoop、ZooKeeper、Hive、HBase 七节点分布式集群搭建
- Hadoop+Hbase+Zookeeper集群环境搭建
- [置顶] hadoop、zookeeper、hbase、spark集群环境搭建
- Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建--5
- 大数据1-hadoop、zookeeper、hbase、spark集群环境搭建
- Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建--4
- Hadoop2.7.4上搭建Hbase全分布式集群
- 伪分布式集群环境搭建、jdk、hadoop、zk、hbase、hive、mysql
- Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建--3
- hadoop、zookeeper、hbase、spark集群环境搭建
- Ubuntu16.04 下 Spark2.0.2+Hadoop2.7.3+Zookeeper3.4.9+HBase1.1.7集群环境搭建--2
- 大数据伪分布式环境搭建hadoop+zookeeper+hive+sqoop+hbase