大数据学习笔记之Hadoop伪分布式集群变分布式

版权声明：本文为博主原创文章，遵循 CC 4.0 by-sa 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/weixin_44260681/article/details/88551719

vi core-site.xml（无须改动）

vi hdfs-site.xml

副本数改为3

secondarynamenode定为hadoop3

vi mapred-site.xml

两条jobhistory设置项改到hadoop2

vi yarn-site.xml

resourcemanager位置改到hadoop2

vi slaves

添加hadoop2,hadoop3，换行

 

清空hadoop目录下 data/tmp

删除/opt/targz/下压缩文件以方便拷贝

scp -r /opt root@hadoop2:/

scp -r /opt root@hadoop3:/

scp /etc/profile root@hadoop2:/etc/

scp /etc/profile root@hadoop3:/etc/

注：此处添加全局变量是为了能执行hadoop下的命令：

export JAVA_HOME=/usr/java/jdk1.8.0_25

export HADOOP_HOME=/opt/programs/hadoop-2.6.0

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH

 

 

namenode所在节点执行初始化hadoop1

hdfs namenode -format

启动hdfs文件系统

start-dfs.sh

 

resourcemanager所在节点hadoop2

start-yarn.sh

mr-jobhistory-daemon.sh start historyserver

 

 

配置完成：

 

[root@hadoop1 /]# jps

3060 Jps

2568 NameNode

2909 NodeManager

2687 DataNode

 

[root@hadoop2 ~]# jps

3042 Jps

2501 ResourceManager

2903 JobHistoryServer

2394 DataNode

2591 NodeManager

 

[root@hadoop3 ~]# jps

2389 DataNode

2470 SecondaryNameNode

2750 Jps

2543 NodeManager

 

总结：

配置，（删除和拷贝必要文件），初始化（format），启动

start-dfs.sh启动主节点的namenode

配置所有节点的时间以主节点为主

1.所有节点设置时区：

timedatectl set-timezone "Asia/Shanghai"

2.统一时间，“对表”，即以主节点的时间为准

1.所有机器安装ntp

yum -y install ntp

2.修改主节点配置文件，所有机器时间以主节点（如hadoop1）时间为准，

1.所有节点备份原始配置文件

cp /etc/ntp.conf /etc/ntp.conf.bak

2.修改主节点hadoop1配置

vi /etc/ntp.conf

# server 0.centos.pool.ntp.org iburst

# server 1.centos.pool.ntp.org iburst

# server 2.centos.pool.ntp.org iburst

# server 3.centos.pool.ntp.org iburst

server 127.127.1.1

3.重启ntpd进程，设置开机自启

systemctl restart ntpd

systemctl enable ntpd

3.在其他节点上指定以hadoop1为准来进行时间校准

ntpdate hadoop1

systemctl start ntpd

4.修改其他节点上的配置文件（同主节点修改步骤）

vi /etc/ntp.conf

# server 0.centos.pool.ntp.org iburst

# server 1.centos.pool.ntp.org iburst

# server 2.centos.pool.ntp.org iburst

# server 3.centos.pool.ntp.org iburst

server 192.168.11.51

5.其他节点上重启ntpd进程，并设置成开机自启

systemctl restart ntpd

systemctl enable ntpd