Ubuntu hadoop 伪分布式环境搭建步骤+ssh密钥(免密码登录)配置
2016-04-02 16:22
841 查看
1.关闭防火墙
查看防火墙状态service iptables status
关闭防火墙
service iptables stop
查看防火墙开机启动状态
chkconfig iptables --list
关闭防火墙开机启动
chkconfig iptables off
重启Linux
reboot
2.安装JDK
2.1上传alt+p 后出现sftp窗口,然后
put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz
2.2解压jdk
1).创建文件夹
mkdir /home/hadoop/app
2)解压
tar zxvf jdk-7u55-linux-i586.tar.gz -C /home/hadoop/app
zxvf分别是四个参数
x : 从 tar 包中把文件提取出来
z : 表示 tar 包是被 gzip 压缩过的,所以解压时需要用 gunzip 解压
v : 显示详细信息s
f xxx.tar.gz : 指定被处理的文件是 xxx.tar.gz
2.3将java添加到环境变量中
```vim /etc/profile```
在文件最后添加
export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585 export PATH=$PATH:$JAVA_HOME/bin
刷新配置
source /etc/profile
3.安装hadoop2.4.1
先上传hadoop的安装包到服务器上去/home/hadoop/注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
伪分布式需要修改5个配置文件
3.1配置hadoop
第一个:hadoop-env.sh
vim hadoop-env.sh
#第27行
export JAVA_HOME=/usr/java/jdk1.7.0_65
第二个:core-site.xml
<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </property>
第三个:hdfs-site.xml
<!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property>
第四个:mapred-site.xml.template
将mapred-site.xml.template文件名改成mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!-- 指定mr运行在yarn上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
第五个:yarn-site.xml
<!-- 指定YARN的老大(ResourceManager)的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>weekend-1206-01</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
3.2将hadoop添加到环境变量
vim /etc/proflie export JAVA_HOME=/usr/java/jdk1.7.0_65 export HADOOP_HOME=/itcast/hadoop-2.4.1 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
更新配置文件
source /etc/profile
3.3格式化namenode(是对namenode进行初始化)
hdfs namenode -format (hadoop namenode -format)
(出现successful字样所名格式化成功)
3.4启动hadoop
先启动HDFSsbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
3.5验证是否启动成功
使用jps命令验证27408 NameNode 28218 Jps 27643 SecondaryNameNode 28066 NodeManager 27803 ResourceManager 27512 DataNode
进入下面的网页查询具体数据
http://192.168.1.101:50070 (HDFS管理界面)
http://192.168.1.101:8088 (MR管理界面)
4.配置ssh免登陆密码
1.生成ssh免登陆密钥进入到我的home目录
ssh-keygen -t rsa(四个回车)
之后会在用户文件夹下生成.ssh的隐藏文件夹,进入文件夹:
cd ~/.ssh
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
2.将公钥拷贝到要免登陆密码的机器(下面称这台机器为B机器)上
scp id_rsa.pub weekend:/
其中 weekend是B机器上的用户名:后面的是将id_rsa.pub拷贝到那个路径下。
3.将A机器的公钥追加到B机器配置文件authorized_keys上
authorized_keys在B机器的.ssh文件夹下,如果是第一次配置ssh密钥需要手动创建authorized_keys文件,然后使用:
cat ~/id_rsa.pub >> authorized_keys
将公钥追加到authorized_keys文件中去
结束
相关文章推荐
- nginx.conf配置文件中timeout超时时间设置
- linux基础之命令Curl
- CentOS7 下面安装Mysql MMM
- 架构设计经验:高可用与可伸缩
- 在linux自己目录下(没有管理员权限)安装java
- jsp中跳转到el表达式中保存的其他网站的url
- Linux learning jottings(2)-static or dynamic library
- nginx 教程收集
- getopt函数和getopt_long函数详解
- Webbench-1.5开源软件工具源码深度剖析
- linux内核分析 第六周读书笔记
- Linux学习笔记<四>
- 记录archlinux中安装pcl的大致流程
- CentOS上JDK的安装与环境变量的配置
- 实现 select中指定option选中触发事件
- Reddit CTO: 创业初期不要放弃成熟技术
- linux系统调用号的定义路径
- Apache ab测试工具安装
- [置顶] 教你如何在linux操作系统下玩【俄罗斯方块】高清+语音教程
- linux基础之公共NTP服务器