Hadoop集群搭建三
2020-07-15 05:02
190 查看
一:安装hadoop
将Hadoop安装在主节点master上面,进行配置操作,之后将文件复制分发到子节点slave1和slave2中。
1)下载hadoop安装包
创建对应的工作目录/usr/hadoop,解压到相应的目录中,删除安装包。
mkdir -p /usr/hadoop cd /usr/hadoop
wget 下载的路径。
tar -zxvf hadoop-2.7.3.tar.gz -C /usr/hadoop/ rm -rf /usr/hadoop-2.7.3.tar.gz
2)添加hadoop环境变量(三台机器)
vim /etc/profile
添加以下内容:
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3 export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
是配置文件生效
source /etc/profile
3)配置hadoop相关组件:
common组件: core-site.xml hdfs组件 : hdfs-site.xml mapreduce组件:mapred-site,xml yarn组件:yarn-site.xml
1:进入hadoop配置目录,编辑hdfs-env.sh
cd $HADOOP_HOME/etc/hadoop vim hadoop-env.sh
修改java环境变量:
export JAVA_HOME=/usr/java/jdk1.8.0_171
:wq保存退出
2:编辑core-site.xml
vim core-site.xml
<property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop/hadoop-2.7.3/hdfs/tmp</value> <description>A base for other temporary directories.</description> </property> <property> <name>io.file.buffer.size</name> <value>131072</value> </property> <property> <name>fs.checkpoint.period</name> <value>60</value> </property> <property> <name>fs.checkpoint.size</name> <value>67108864</value> </property>
master:在主节点上的ip或映射
9000:主节点和从节点配置的端口都是9000
3:编辑mapred-site.xml
hadoop是没有这个文件的,需要将mapred-site.xml.template样本文件复制为mapred-site.xml进行编辑
cp mapred-site.xml.template mapred-site.xml vim mapred-site.xml
加入以下内容:
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
4:修改yarn-site.xml
加入以下代码:
<property> <name>yarn.resourcemanager.address</name> <value>master:18040</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>master:18030</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>master:18088</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name> <value>master:18025</value> </property> <property> <name>yarn.resourcemanager.admin.address</name> <value>master:18141</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property>
5:编辑hdfs-site.xml配置文件
添加以下代码:
<property> <name>dfs.replication</name> <value>2</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/name</value> <final>true</final> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/hadoop/hadoop-2.7.3/hdfs/data</value> <final>true</final> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>master:9001</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property>
6:编写slave文件,添加从节点slave1,slave2
vim slave
将slave1 和slave2写入slave文件
编写master文件, 添加主节点master,如果没有这个文件,直接添加
vim master
将master 写入master文件。
7:分发文件到slave1和slave2
scp -r /usr/hadoop root@slave1:/usr/ scp -r /usr/hadoop root@slave2:/usr/
slave上面需要配置相关环境变量。
8:在master中格式化hadoop,开启hadoop(master执行)
格式化namenode:
hadoop namenode -format
当出现“Exiting with status 0”的时候,表明格式化成功。
9:主节点格式化成功后,可以在master中开启hadoop集群,(master执行)
回到hadoop目录:
cd /usr/hadoop/hadoop-2.7.3
主节点开启服务:
sbin/start-all.sh
jsp查看启动状态
相关文章推荐
- hadoop2.4.2集群搭建及hive与mysql集成文档记录
- Hadoop-2.7.2伪分布式集群搭建
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~) .
- Hadoop 2.2 分布式集群搭建
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程
- 高可用性hadoop集群的搭建
- 【向Linux迁移记录】Deepin Linux下快速Hadoop完全分布式集群搭建
- 详解使用docker搭建hadoop分布式集群
- hadoop 2.4.1集群搭建
- CentOS7搭建Hadoop2.6完全分布式集群环境
- Hadoop集群搭建详解
- hadoop,zookeeper,kafka集群搭建(详细)
- hadoop-1.2.1集群配置搭建
- vmware方式搭建hadoop-1.2.1 集群
- VMWare9下基于Ubuntu12.10搭建Hadoop-1.2.1集群—整合Zookeeper和Hbase
- Mac-搭建Hadoop集群
- hadoop 集群HA高可用搭建以及问题解决方案
- hadoop2.2+HA 集群搭建
- hadoop集群搭建
- 关于hadoop-ha联邦制集群搭建的注意事项