CentOS7搭建 Hadoop + HBase + Zookeeper集群
2017-05-24 23:18
429 查看
一、基础环境准备
1、下载安装包(均使用当前最新的稳定版本,截止至2017年05月24日)
-- 下载 jdk-8u131 # wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz -- 下载 hadoop-2.7.3 # wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.3 -- 下载 hbase-1.2.5 # wget http://mirror.bit.edu.cn/apache/hbase/1.2.5 -- 下载 zookeeper-3.4.10 # wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10[/code]2、修改hosts文件(使用的三台集群主机默认IP为192.168.0.100、192.168.0.101、192.168.0.102)
# vim /etc/hosts --添加以下信息(master、slave1、slave2均需修改) 192.168.0.100 master 192.168.0.101 slave1 192.168.0.102 slave23、安装JDK
-- 解压jdk安装包 # mkdir /usr/java # tar -zxvf jdk-8u131-linux-x64.tar.gz -C /usr/java -- 拷贝jdk至slave1及slave2中 # scp -r /usr/java slave1:/usr # scp -r /usr/java slave2:/usr -- 设置jdk环境变量(master、slave1、slave2均需修改) # vim /etc/environment JAVA_HOME=/usr/java/jdk1.8.0_131 JRE_HOME=/usr/java/jdk1.8.0_131/jre # vim /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_131 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin4、设置免密登陆
slave1# ssh-keygen -t rsa # cp ~/.ssh/id_rsa.pub ~/.ssh/slave1_id_rsa.pub # scp ~/.ssh/slave1_id_rsa.pub master:~/.ssh/
slave2# ssh-keygen -t rsa # cp ~/.ssh/id_rsa.pub ~/.ssh/slave2_id_rsa.pub # scp ~/.ssh/slave2_id_rsa.pub master:~/.ssh/
master# ssh-keygen -t rsa # cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys # cat ~/.ssh/slave1_id_rsa.pub >> ~/.ssh/authorized_keys # cat ~/.ssh/slave2_id_rsa.pub >> ~/.ssh/authorized_kyes -- 拷贝文件至slave1及slave2 # scp ~/.ssh/authorized_keys slave1:~/.ssh # scp ~/.ssh/authorized_keys slave2:~/.ssh5、关闭防火墙及SELINUX(master、slave1、slave2均需修改)
-- 关闭防火墙 # systemctl stop firewalld.service # systemctl disable firewalld.service -- 关闭SELINUX # vim /etc/selinux/config -- 注释掉 #SELINUX=enforcing #SELINUXTYPE=targeted -- 添加 SELINUX=disabled二、Hadoop环境搭建
1、解压缩安装包及创建基本目录
# tar -zxvf hadoop-2.7.3-x64.tar.gz -C /usr # cd /usr/hadoop-2.7.3 # mkdir tmp logs hdf hdf/data hdf/name2、修改hadoop配置文件
-- 修改 slaves 文件 # vim /usr/hadoop-2.7.3/etc/hadoop/slaves -- 删除 localhost,添加 slave1 slave2 -- 修改 core-site.xml 文件 # vim /usr/hadoop-2.7.3/etc/hadoop/core-site.xml -- 在 configuration 节点中添加以下内容 <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/hadoop-2.7.3/tmp</value> </property> -- 修改 hdfs-site.xml 文件 # vim /usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml -- 在 configuration 节点添加以下内容 <property> <name>dfs.datanode.data.dir</name> <value>/usr/hadoop-2.7.3/hdf/data</value> <final>true</final> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/hadoop-2.7.3/hdf/name</value> <final>true</final> </property> -- 修改 mapred-site.xml 文件 # cp /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml # vim /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml -- 在 configuration 节点添加以下内容 <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property> -- 修改 yarn-site.xml 文件 # vim /usr/hadoop-2.7.3/etc/hadoop/yarn-site.xml -- 在 configuration 节点添加以下内容 <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:8088</value> </property>3、复制hadoop到slave节点
# scp -r /usr/hadoop-2.7.3 slave1:/usr # scp -r /usr/hadoop-2.7.3 slave2:/usr4、配置 master 和 slave 的 hadoop 环境变量
# vim /etc/profile -- 添加如下内容 export HADOOP_HOME=/usr/hadoop-2.7.3 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH export HADOOP_LOG_DIR=/usr/hadoop-2.7.3/logs export YARN_LOG_DIR=$HADOOP_LOG_DIR -- 保存后执行 # source /etc/profile # vim ~/.bashrc -- 添加如下内容 export HADOOP_PREFIX=/usr/hadoop-2.7.3/ -- 保存后执行 # source ~/.bashrc5、格式化 namenode
# /usr/hadoop-2.7.3/sbin/hdfs namenode -format6、启动 hadoop(仅在master节点执行)
# ssh master # /usr/hadoop-2.7.3/sbin/start-all.sh
到这一步已经成功完成了hadoop环境的搭建三、Zookeeper环境搭建
1、解压缩 zookeeper 安装包到master,并建立基本目录
# tar -zxvf zookeeper-3.4.10.tar.gz -C /usr # mkdir /usr/zookeeper-3.4.10/data2、修改master配置文件
-- 复制配置文件模板 # cp /usr/zookeeper-3.4.10/conf/zoo-sample.cfg /usr/zookeeper-3.4.10/conf/zoo.cfg -- 修改配置文件 # vim /usr/zookeeper-3.4.10/conf/zoo.cfg -- 添加如下内容 dataDir=/usr/zookeeper-3.4.10/data server.1=master:2888:3888 server.2=slave1:2888:3888 server.3=slave2:2888:38883、复制到各个子节点
# scp -r /usr/zookeeper-3.4.10 slave1:/usr # scp -r /usr/zookeeper-3.4.10 slave2:/usr4、创建myid文件
-- master节点添加myid文件 # ssh master # touch /usr/zookeeper-3.4.10/data/myid # echo 1 > /usr/zookeeper-3.4.10/data/myid -- slave1节点添加myid文件 # ssh slave1 # touch /usr/zookeeper-3.4.10/data/myid # echo 2 > /usr/zookeeper-3.4.10/data/myid -- slave2节点添加myid文件 # ssh slave2 # touch /usr/zookeeper-3.4.10/data/myid # echo 3 > /usr/zookeeper-3.4.10/data/myid5、启动zookeeper(master、slave1、slave2均需执行)
-- 启动master # ssh master # cd /usr/zookeeper-3.4.10/bin # ./zkServer.sh start -- 启动slave1 # ssh slave1 # cd /usr/zookeeper-3.4.10/bin # ./zkServer.sh start -- 启动slave2 # ssh slave2 # cd /usr/zookeeper-3.4.10/bin # ./zkServer.sh start
到这一步完成了zookeeper环境的搭建四、HBase环境搭建
1、解压缩hbase安装包
# tar -zxvf hbase-1.2.5-bin.star.gz -C /usr # mkdir /usr/hbase-1.2.5-bin/logs2、修改Hbase启动时要使用的环境变量(hbase-env.sh)
-- 打开环境变量配置文件 # vim /usr/hbase-1.2.5/conf/hbase-env.sh -- 添加如下内容 -- 1、设置java安装路径 export JAVA_HOME=/usr/java/jdk1.8.0_131 -- 2、设置hbase的日志地址 export HBASE_LOG_DIR=${HBASE_HOME}/logs -- 3、设置是否使用hbase管理zookeeper(因使用zookeeper管理的方式,故此参数设置为false) export HBASE_MANAGES_ZK=false -- 4、设置hbase的pid文件存放路径 export HBASE_PID_DIR=/var/hadoop/pids3、添加所有的region服务器到regionservers文件中
-- 打开regionservers配置文件 # vim /usr/hbase-1.2.5/conf/regionservers -- 删除localhost,新增如下内容 master slave1 slave2
注:hbase在启动或关闭时会依次迭代访问每一行来启动或关闭所有的region服务器进程4、修改Hbase集群的基本配置信息(hbase-site.xml),该配置将会覆盖Hbase的默认配置
-- 打开配置文件 # vim /usr/hbase-1.2.5/conf/hbase-site.xml -- 在configuration节点下添加如下内容 <property> <name>hbase.rootdir</name> <value>hdfs://master:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>master,slave1,slave2</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/usr/zookeeper-3.4.10/data</value> </property> <property> <name>hbase.master</name> <value>hdfs://master:60000</value> </property>5、复制hbase到slave中
# scp -r /usr/hbase-1.2.5 slave1:/usr # scp -r /usr/hbase-1.2.5 slave2:/usr6、启动hbase(仅在master节点上执行即可)
# ssh master # /usr/hbase-1.2.5/bin/start-hbase.sh
到这一步hbase环境搭建完成
今天先写到这,后续补充hbase控制台操作及通过java api调用hbase执行基本的操作
相关文章推荐
- Hadoop-2.6.0+Zookeeper-3.4.6+Spark-1.5.0+Hbase-1.1.2+Hive-1.2.0集群搭建
- zookeeper+hadoop+hbase+kafka+storm集群搭建
- VMWare9下基于Ubuntu12.10搭建Hadoop-1.2.1集群—整合Zookeeper和Hbase
- hadoop、hbase、zookeeper伪集群搭建
- Hadoop-2.6.0+Zookeeper-3.4.6+Spark-1.5.0+Hbase-1.1.2+Hive-1.2.0集群搭建
- hadoop+hbase+zookeeper 分布式集群搭建 + eclipse远程连接hdfs 完美运行
- HBase0.99.2集群的搭建步骤(在hadoop2.6.4集群和zookeeper3.4.5集群上)
- 伪分布式集群环境hadoop、hbase、zookeeper搭建(全)
- 配置密码分布式集群环境hadoop、hbase、zookeeper搭建(全)
- 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
- [置顶] hadoop、zookeeper、hbase、spark集群环境搭建
- hadoop、zookeeper、hbase、spark集群环境搭建
- Hadoop、ZooKeeper、Hive、HBase 七节点分布式集群搭建
- CentOS 6.5安装Hadoop+HBase+ZooKeeper集群
- 第八章 搭建hadoop2.2.0集群,Zookeeper集群和hbase-0.98.0-hadoop2-bin.tar.gz集群
- 伪分布式集群环境hadoop、hbase、zookeeper搭建(全)
- Mac下CentOS虚拟机装Hadoop集群、zookeeper集群、HBase集群
- Hadoop集群之 ZooKeeper和Hbase环境搭建
- hadoop、hbase、zookeeper集群搭建
- hadoop, hbase, zookeeper集群搭建