一:Centos多机共享及其它准备(为了Hadoop HA部署)
2018-11-27 17:40
399 查看
前提:为了在阿里云服务器上部署Hadoop HA,在部署之前,需要了解前期的HA架构和阿里云服务器,在熟悉了这些前提下,开始一步进行实操。在实操中熟悉各类架构后,在对各类架构的作用,启动和关闭顺序做*更进一步熟悉:
-
目录结构:
-
1:阿里云主机购买
-
2:远程XSHELL登陆
-
3:hadoop用户创建及文件上传
-
4:hosts文件和多台ssh互相信任
-
5:java运行程序安装
-
1:阿里云主机购买:
-
搭建hadoop HA 环境,至少需要三台主机,最少配置为2核 4G内存为好:如果在阿里云购买主机,只是临时使用,建议按量付费。3台机基本在2块钱/小时。
-
-
2:远程XSHELL/CRT登陆
-
依据自己喜好,远程链接需要部署HA 的三台机器,同时在多机器中,留意远程链接工具是否具备批处理功能:
-
-
3:hadoop用户创建及文件上传
useradd hadoop su - hadoop mkdir software app data lib source
exit yum install -y lrzsz rz /home/hadoop/software
-
4:hosts文件和多台ssh互相信任
su - root vim /etc/hosts scp /etc/hosts root@hadoop002:/etc/hosts 从第一个传个第二个,省事 su -hadoop rm -rf .ssh ssh-keygen scp id_rsa.pub root@hadoop001:/home/hadoop/.ssh/id_rsa.pub2/3 cat id_rsa.pub(23) >>authorized_keys scp authorized_keys root@hadoop002:/home/hadoop/.ssh/ chmod 600 /home/hadoop/.ssh/authorized_keys chmod 700 -R /home/hadoop/.ssh
-
5:java运行程序安装
which java ll /usr/java 查看是否安装有 mkdir /usr/java tar -xzvf * -C /usr/java chown -R root:root /usr/java/ source /etc/profile 使profile生效 java -version
相关文章推荐
- CentOS6.5环境部署Hadoop2.8.1集群(HA)
- 实战CentOS系统部署Hadoop集群服务
- Centos下MooseFS(MFS)分布式存储共享环境部署记录
- CentOS7下hadoop2.6.0分布式部署
- centos 部署Hadoop-3.0-高性能集群(一)安装
- 实战CentOS系统部署Hadoop集群服务
- hadoop2.7.3+HA+YARN+zookeeper高可用集群部署
- kerberos+ladp+hadoop-ha 安全认证部署配置
- centos 下安装 thrift(为部署 vddk 服务做准备)
- hadoopHA部署
- centos x64搭建 hadoop2.4.1 HA
- centos6.5环境下Zookeeper-3.4.6集群环境部署 【系统】Centos 6.5 集群部署 【软件】准备好jdk环境,此次我们的环境是open_jdk1.8.0_101
- WMware 中CentOS系统Hadoop 分布式环境搭建(一)——Hadoop安装环境准备
- centos6.5下部署hadoop2.4+zookeeper
- Hadoop2.7.2 Centos 完全分布式集群环境搭建 (1) - 基础环境准备-1
- CentOS下SparkR安装部署:hadoop2.7.3+spark2.0.0+scale2.11.8+hive2.1.0
- 生产环境下部署hadoop集群(包括dns配置,nfs共享,awk资源分发)
- hadoop 集群安装(二) HA部署
- CentOS 7部署OpenStack(1)-―准备基础环境
- 大数据Hadoop的HA高可用架构集群部署