学习记录--颤抖吧,hadoop(五)---搭建完全分布式hadoop集群(2)
2017-08-23 09:21
211 查看
上周日(8月20日)接通了网络,做了一些准备工作。打铁趁热,周一(21日)完成hadoop完全分布式的全部。
简单梳理下主要步骤:
选定一台机器作为 Master
在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
在 Master 节点上安装 Hadoop,并完成配置
在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
修改各节点hostname,host, 配置ssh,实现无密码登陆(Master对Salve)
配置Master节点上的hadoop(slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml).
将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
在 Master 节点上开启 Hadoop
上一篇,我们做了这个流程中的前3步。这篇中完成了4--8步。
主要参考:(感谢)
1.http://www.powerxing.com/install-hadoop-cluster/
2.http://www.cnblogs.com/laov/p/3421479.html
过程还算顺利,遇到的问题:有一台centos6.3的系统下载jdk有问题,(好像是软件源的问题,找了几个方法,无法解决,没有深究。换成了centos6.5系统,问题解决)。
附上过程中的图片:
集群简单介绍
简单梳理下主要步骤:
选定一台机器作为 Master
在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
在 Master 节点上安装 Hadoop,并完成配置
在其他 Slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
修改各节点hostname,host, 配置ssh,实现无密码登陆(Master对Salve)
配置Master节点上的hadoop(slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml).
将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Slave 节点上
在 Master 节点上开启 Hadoop
上一篇,我们做了这个流程中的前3步。这篇中完成了4--8步。
主要参考:(感谢)
1.http://www.powerxing.com/install-hadoop-cluster/
2.http://www.cnblogs.com/laov/p/3421479.html
过程还算顺利,遇到的问题:有一台centos6.3的系统下载jdk有问题,(好像是软件源的问题,找了几个方法,无法解决,没有深究。换成了centos6.5系统,问题解决)。
附上过程中的图片:
集群简单介绍
相关文章推荐
- 学习记录--颤抖吧,hadoop(五)---搭建完全分布式hadoop集群(1)
- Hadoop2学习记录(1) |HA完全分布式集群搭建
- 学习记录---颤抖吧,hadoop!(三)----搭建伪分布式
- DayDayUP_大数据学习课程[1]_hadoop2.6.0完全分布式集群环境和伪分布式集群搭建
- hadoop学习第二天~Hadoop2.6.5完全分布式集群搭建和测试
- hadoop2.7.3完全分布式集群搭建
- CentOS7搭建Hadoop2.6完全分布式集群环境
- Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程
- hadoop2.74+zookeeper3.4.10+hbase1.2.6完全分布式HA集群搭建
- 基于HA的hadoop2.7.1完全分布式集群搭建
- 超详细从零记录Hadoop2.7.3完全分布式集群部署过程
- Hadoop2.7.3完全分布式集群搭建和测试
- hadoop学习第二天-了解HDFS的基本概念&&分布式集群的搭建&&HDFS基本命令的使用
- Hadoop2.2.0安装配置手册!完全分布式Hadoop集群搭建过程~(心血之作啊~~)
- 搭建3个节点的hadoop集群(完全分布式部署)--2安装mysql及hive
- Hadoop完全分布式集群搭建手记(CentOS6.7+Hadoop2.6手把手胸贴胸详细版)
- Hadoop集群完全分布式搭建教程-CentOS
- Hadoop2.7.3完全分布式集群搭建和测试
- 大数据系列(3)——Hadoop集群完全分布式坏境搭建
- Hadoop2.7.3完全分布式集群搭建