大数据学习系列(7)-- hadoop集群搭建
2018-01-14 10:05
597 查看
1、配置ssh免登陆
3.安装hadoop2.8.3
1、确保集群节点防火墙关闭
2、datanode可以正常启动,但是就是无法与namenode通讯,查看logs/下日志,会发现: Unable to connect to remote host:Connection refused
namenode下/etc/hosts 中有127.0.1.1(它监听的本地地址,是一个本地回环地址)[/code]
#进入到我的home目录 cd ~/.ssh ssh-keygen -t rsa 执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥) 将公钥拷贝到要免密登陆的目标机器上 ssh-copy-id localhost --------------------------- ssh免登陆: 生成key: ssh-keygen 复制从A复制到B上: ssh-copy-id B 验证: ssh localhost/exit,ps -e|grep ssh ssh A #在B中执行2、安装JDK[/code]
2.1 wget 下载jdk tar包 2.2 解压jdk #创建文件夹 mkdir /home/hadoop/app #解压 tar -zxvf jdk1.8.0_144.tar.gz -C /home/hadoop/app 2.3 将java添加到环境变量中 vim /etc/profile #在文件最后添加 export JAVA_HOME=/home/hadoop/app/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin #刷新配置 source /etc/profile
3.安装hadoop2.8.3
先上传hadoop的安装包到服务器上去/home/hadoop/
注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop 伪分布式需要修改如下配置文件: 3.1配置hadoop 第一个:hadoop-env.sh vim hadoop-env.sh # 修改jdk环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_144 第二个:core-site.xml <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://node1:9000</value> </property> <!-- 指定hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop-2.8.3/tmp</value> </property> 第三个:hdfs-site.xml <!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.secondary.http.address</name> <value>192.168.1.152:50090</value> </property> 第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml) mv mapred-site.xml.template mapred-site.xml vim mapred-site.xml <!-- 指定mr运行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 第五个:yarn-site.xml <!-- 指定YARN的老大(ResourceManager)的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>node1</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> 3.2 将hadoop添加到环境变量 vim /etc/proflie export JAVA_HOME=/usr/java/jdk1.8.0_144 export HADOOP_HOME=/itcast/hadoop-2.8.3 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile 3.3 格式化namenode(是对namenode进行初始化) hdfs namenode -format (hadoop namenode -format) 3.4 启动hadoop 先启动HDFS sbin/start-dfs.sh 再启动YARN sbin/start-yarn.sh 3.5 验证是否启动成功 使用jps命令验证 27408 NameNode 28218 Jps 27643 SecondaryNameNode 28066 NodeManager 27803 ResourceManager 27512 DataNode http://node1:50070 (HDFS管理界面) http://node1:8088 (MR管理界面)
注意:
1、确保集群节点防火墙关闭
2、datanode可以正常启动,但是就是无法与namenode通讯,查看logs/下日志,会发现: Unable to connect to remote host:Connection refused
namenode下/etc/hosts 中有127.0.1.1(它监听的本地地址,是一个本地回环地址)[/code]
相关文章推荐
- 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
- 大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
- 大数据学习--问题集锦(hadoop篇)--集群搭建
- 大数据学习系列之一 ----- Hadoop环境搭建(单机)
- [置顶] 大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 图文详解
- 菜鸟的Hadoop学习之路系列<一>:自己动手搭建Hadoop集群
- 大数据学习系列之四 ----- Hadoop+Hive环境搭建图文详解(单机)
- hadoop 入门学习系列七-----hadoop集群搭建
- 大数据学习系列之一 ----- Hadoop环境搭建(单机)
- 大数据学习系列之八----- Hadoop、Spark、HBase、Hive搭建环境遇到的错误以及解决方法
- 大数据hadoop入门学习之集群环境搭建集合
- DayDayUP_大数据学习课程[1]_hadoop2.6.0完全分布式集群环境和伪分布式集群搭建
- 大数据系列(3)——Hadoop集群完全分布式坏境搭建
- Hadoop学习---第一篇搭建Hadoop集群
- Hadoop-2.6.0学习笔记(一)HA集群搭建
- (大数据之hadoop)hadoop2.4.1集群搭建
- Hadoop平台搭建使用系列教程(2)-预定义集群环境
- (大数据之hadoop)hadoop2.2.0集群搭建
- (大数据之hadoop)Hadoop2.2.0版本多节点集群及eclipse开发环境搭建
- (大数据之hadoop)hadoop1.0集群搭建