大数据学习笔记之Hadoop伪分布式集群变分布式
vi core-site.xml(无须改动)
vi hdfs-site.xml
副本数改为3
secondarynamenode定为hadoop3
vi mapred-site.xml
两条jobhistory设置项改到hadoop2
vi yarn-site.xml
resourcemanager位置改到hadoop2
vi slaves
添加hadoop2,hadoop3,换行
清空hadoop目录下 data/tmp
删除/opt/targz/下压缩文件以方便拷贝
scp -r /opt root@hadoop2:/
scp -r /opt root@hadoop3:/
scp /etc/profile root@hadoop2:/etc/
scp /etc/profile root@hadoop3:/etc/
注:此处添加全局变量是为了能执行hadoop下的命令:
export JAVA_HOME=/usr/java/jdk1.8.0_25
export HADOOP_HOME=/opt/programs/hadoop-2.6.0
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH
namenode所在节点执行初始化hadoop1
hdfs namenode -format
启动hdfs文件系统
start-dfs.sh
resourcemanager所在节点hadoop2
start-yarn.sh
mr-jobhistory-daemon.sh start historyserver
配置完成:
[root@hadoop1 /]# jps
3060 Jps
2568 NameNode
2909 NodeManager
2687 DataNode
[root@hadoop2 ~]# jps
3042 Jps
2501 ResourceManager
2903 JobHistoryServer
2394 DataNode
2591 NodeManager
[root@hadoop3 ~]# jps
2389 DataNode
2470 SecondaryNameNode
2750 Jps
2543 NodeManager
总结:
配置,(删除和拷贝必要文件),初始化(format),启动
start-dfs.sh启动主节点的namenode
配置所有节点的时间以主节点为主
1.所有节点设置时区:
timedatectl set-timezone "Asia/Shanghai"
2.统一时间,“对表”,即以主节点的时间为准
1.所有机器安装ntp
yum -y install ntp
2.修改主节点配置文件,所有机器时间以主节点(如hadoop1)时间为准,
1.所有节点备份原始配置文件
cp /etc/ntp.conf /etc/ntp.conf.bak
2.修改主节点hadoop1配置
vi /etc/ntp.conf
# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst
server 127.127.1.1
3.重启ntpd进程,设置开机自启
systemctl restart ntpd
systemctl enable ntpd
3.在其他节点上指定以hadoop1为准来进行时间校准
ntpdate hadoop1
systemctl start ntpd
4.修改其他节点上的配置文件(同主节点修改步骤)
vi /etc/ntp.conf
# server 0.centos.pool.ntp.org iburst
# server 1.centos.pool.ntp.org iburst
# server 2.centos.pool.ntp.org iburst
# server 3.centos.pool.ntp.org iburst
server 192.168.11.51
5.其他节点上重启ntpd进程,并设置成开机自启
systemctl restart ntpd
systemctl enable ntpd
- 大数据和数据库—学习笔记:Hadoop分布式集群搭建详细步骤
- Spark学习笔记(三) Ubuntu搭建Hadoop分布式集群
- hadoop学习笔记:从零开始搭建hadoop集群(完全分布式)
- Hadoop学习笔记【12】-Hadoop2.1全分布式集群安装
- 大数据技术学习笔记:Hadoop集群搭建
- Hadoop学习笔记【12】-Hadoop2.1全分布式集群安装
- hadoop学习笔记之一步一步部署hadoop分布式集群
- Spark Hadoop集群部署与Spark操作HDFS运行详解---Spark学习笔记10
- 第124讲:Hadoop集群管理之fsimage和edits工作机制内幕详解学习笔记
- 第128讲:Hadoop集群管理工具dfsadmin实战详解学习笔记
- hadoop学习之hadoop完全分布式集群安装
- hadoop学习笔记七 -- hadoop集群高可用架构安装配置
- Spark学习笔记(二) 安装Hadoop单节点集群
- hadoop学习笔记之hadoop伪集群安装
- 学习笔记:从0开始学习大数据-35.docker部署hadoop集群
- [笔记]hadoop2.4.1伪分布式集群搭建\hdfs入门
- Hadoop学习笔记_伪分布式搭建
- Time的hadoop学习笔记之--搭建有三台主机的Hadoop集群
- 基于Hadoop 的分布式网络爬虫技术学习笔记
- Hadoop学习笔记(十四)---Hbase集群安装及配置