Ubuntu环境Hadoop全分布式环境搭建 (学习笔记)
2014-10-05 16:27
573 查看
一 、准备工作
1.准备2台装有linux的机器,具有相同的用户名(我设置为hadoop)
两台机器的ip与主机名
2.确保所有机器在一个局域网内,并且能够相互ping通(如果不通把防火墙关闭)
3.配置ssh免密码登录
在master主机上输入
之后一直按回车键即可。然后,在集群内分配密钥:
使用ssh-copy-id不仅可以将公钥添加到authorized_keys中去,而且也设置了正确的权限(文件夹.ssh为700,authorized_keys为600)
这样在master主机上ssh 202.194.124.39(执行命令)主机时应该就不要密码了
如果出现Agent admitted failure to sign using the key这个问题
解决方法使用 ssh-add 指令将私钥 加进来 :
4.配置hosts文件
hosts文件修改配置内容如下(
命令:sudo gedit /etc/hosts ):
二、修改hadoop的配置文件
1.这里需要修改5个文件:
conf/core-site.xml
conf/hdfs-site.xml(与伪分布式相同)
conf/mapred-site.xml
masters
salves(如果有多台电脑ip地址累加就行啦,此外如果master节点也进行job工作,就把master写在下面即可)
配置到这里,hadoop到全分布式就配置完成了,运行方法与伪分布式相同,这里不再多说了。
为方便查看hadoop系统的运行状态,hadoop提供了基于网页的查看方式,非常方便。
1.查看Map/Reduce的运行状态:http://localhost:50030
2.查看HDFS的运行状态:http://localhost:50070
1.准备2台装有linux的机器,具有相同的用户名(我设置为hadoop)
两台机器的ip与主机名
202.194.124.40 master 202.194.124.39 node1
2.确保所有机器在一个局域网内,并且能够相互ping通(如果不通把防火墙关闭)
3.配置ssh免密码登录
在master主机上输入
ssh-keygen -t rsa
之后一直按回车键即可。然后,在集群内分配密钥:
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@202.194.124.39
使用ssh-copy-id不仅可以将公钥添加到authorized_keys中去,而且也设置了正确的权限(文件夹.ssh为700,authorized_keys为600)
这样在master主机上ssh 202.194.124.39(执行命令)主机时应该就不要密码了
如果出现Agent admitted failure to sign using the key这个问题
解决方法使用 ssh-add 指令将私钥 加进来 :
ssh-add ~/.ssh/id_rsa
4.配置hosts文件
hosts文件修改配置内容如下(
命令:sudo gedit /etc/hosts ):
127.0.0.1 localhost 202.194.124.40 master 202.194.124.39 node1
二、修改hadoop的配置文件
1.这里需要修改5个文件:
conf/core-site.xml
<configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/hadoop/logs</value> </property> </configuration>
conf/hdfs-site.xml(与伪分布式相同)
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
conf/mapred-site.xml
<configuration> <property> <name>mapred.job.tracker</name> <value>master:9001</value> </property> </configuration>
masters
master
salves(如果有多台电脑ip地址累加就行啦,此外如果master节点也进行job工作,就把master写在下面即可)
node1
配置到这里,hadoop到全分布式就配置完成了,运行方法与伪分布式相同,这里不再多说了。
为方便查看hadoop系统的运行状态,hadoop提供了基于网页的查看方式,非常方便。
1.查看Map/Reduce的运行状态:http://localhost:50030
2.查看HDFS的运行状态:http://localhost:50070
相关文章推荐
- Hadoop学习笔记1:伪分布式环境搭建
- hadoop学习准备环境:ubuntu学习笔记-基本环境的搭建
- hadoop学习笔记2:hadoop分布式环境搭建
- Hadoop学习笔记之Hadoop伪分布式环境搭建
- hadoop学习笔记:Ubuntu下搭建eclipse调试环境
- Hadoop学习笔记1:伪分布式环境搭建
- Hadoop学习笔记(3)——分布式环境搭建
- 开始hadoop前的准备:ubuntu学习笔记-基本环境的搭建(ssh的安装,SecureCRT连接,vim的安装及使用、jdk的安装)
- ubuntu上搭建eclipse下hadoop-2.7.1集群(全分布式)开发环境遇到的几个问题笔记
- hadoop2.5.2学习及实践笔记(一)—— 伪分布式学习环境搭建
- Hadoop学习笔记1:伪分布式环境搭建
- Hadoop学习笔记1:伪分布式环境搭建
- ubuntu搭建hadoop-Ver2.6.0完全分布式环境笔记
- Hadoop学习笔记(3)——分布式环境搭建
- [Erlang 学习笔记]ubuntu 11.10 搭建erlang环境
- Hadoop学习笔记(4) ——搭建开发环境及编写Hello World
- Hadoop学习笔记-----伪分布式搭建
- ubuntu 12.10 hadoop全分布式环境搭建
- Ubuntu 14.04 (32位)上搭建Hadoop 2.5.1单机和伪分布式环境
- Hadoop学习笔记(10) ——搭建源码学习环境