您的位置:首页 > 大数据 > Hadoop

一:Centos多机共享及其它准备(为了Hadoop HA部署)

2018-11-27 17:40 399 查看

前提:为了在阿里云服务器上部署Hadoop HA,在部署之前,需要了解前期的HA架构和阿里云服务器,在熟悉了这些前提下,开始一步进行实操。在实操中熟悉各类架构后,在对各类架构的作用,启动和关闭顺序做*更进一步熟悉:

  • 目录结构:
  • 1:阿里云主机购买

  • 2:远程XSHELL登陆

  • 3:hadoop用户创建及文件上传

  • 4:hosts文件和多台ssh互相信任

  • 5:java运行程序安装

  • 1:阿里云主机购买:

  • 搭建hadoop HA 环境,至少需要三台主机,最少配置为2核 4G内存为好:如果在阿里云购买主机,只是临时使用,建议按量付费。3台机基本在2块钱/小时。

  • 2:远程XSHELL/CRT登陆

  • 依据自己喜好,远程链接需要部署HA 的三台机器,同时在多机器中,留意远程链接工具是否具备批处理功能:

  • 3:hadoop用户创建及文件上传

useradd hadoop
su - hadoop
mkdir software app data lib source

exit
yum install -y lrzsz
rz /home/hadoop/software

  • 4:hosts文件和多台ssh互相信任

su - root
vim /etc/hosts
scp /etc/hosts root@hadoop002:/etc/hosts 从第一个传个第二个,省事
su -hadoop
rm -rf .ssh
ssh-keygen
scp id_rsa.pub root@hadoop001:/home/hadoop/.ssh/id_rsa.pub2/3
cat id_rsa.pub(23) >>authorized_keys
scp authorized_keys root@hadoop002:/home/hadoop/.ssh/
chmod  600 /home/hadoop/.ssh/authorized_keys
chmod 700 -R  /home/hadoop/.ssh

  • 5:java运行程序安装

which java
ll  /usr/java     查看是否安装有
mkdir /usr/java
tar -xzvf  * -C  /usr/java
chown -R root:root /usr/java/
source /etc/profile  使profile生效
java -version
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: