从0开始学习Hadoop(2)安装JDK以及设置SSH
2017-03-06 12:50
246 查看
安装JDK
jdk8
修改环境变量
c查看JDK安装位置
update-alternatives - -config java
cd /
cd /etc
suto gedit prifile
#JAVA VARIABLES
创建hadoop用户组
sudo adduser -ingroup hadoop hadoop
回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可。
如果不输入密码,回车后会重新提示输入密码,即密码不能为空。
最后确认信息是否正确,如果没问题,输入 Y,回车即可。
回车,打开sudoers文件
给hadoop用户赋予和root用户同样的权限
切换账号
su hadoop
设置 HOST
SUDO gedit /etc/hosts
#ADD 这里IP地址重启VB之后有可能变化,需要重新查看桥接网卡IP,在设置
192.168.56.101 master
192.168.56.102 node1
192.168.56.103 node2
验证
ping master
ping node1
ping node2
http://www.aboutyun.com/thread-6843-1-1.html
设置SSH
1)生产公私秘钥
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
2)复制公私秘钥KEY
cd /.ssh
cat id_dsa.pub >> autohrized_keys
3)单机会还SSH免密码登录测试
ssh localhost
发现问题,链接拒绝,怀疑是防火墙问题或者SSH安装问题。
解决:
apt-get install openssh-server
4) 让主结点(master)能通过SSH免密码登录两个子结点(slave)
操作:node1 node2
cd .ssh/
scp hadoop@master:/home/hadoop/.ssh/id_dsa.pub ./master_das.pub
5)
复制aster.dsa-pub到认证KEY文件
cat id_dsa.pub >> autohrized_keys
验证登录
操作:master
ssh node1
ssh node2
免密码登录即可
以上,环境配置成功:
参考文档:
http://www.aboutyun.com/thread-6843-1-1.html
http://www.cnblogs.com/mephisto/p/4837566.html
使用ppa/源方式安装
1.添加ppa
sudo add-apt-repository ppa:webupd8team/java sudo apt-get update
2.安装oracle-java-installer
jdk7sudo apt-get install oracle-java7-installer
jdk8
sudo apt-get install oracle-java8-installer
修改环境变量
c查看JDK安装位置
update-alternatives - -config java
cd /
cd /etc
suto gedit prifile
#JAVA VARIABLES
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin
#HADOOP VARIABLES
#export HADOOP_INSTALL=/usr/local/hadoop
#export PATH=$PATH:$HADOOP_INSTALL/bin
#export PATH=$PATH:$HADOOP_INSTALL/sbin
#export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
#export HADOOP_COMMON_HOME=$HADOOP_INSTALL
#export HADOOP_HDFS_HOME=$HADOOP_INSTALL
#export YARN_HOME=$HADOOP_INSTALL
#export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
#export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
创建hadoop用户组创建hadoop用户
sudo addgroup hadoopsudo adduser -ingroup hadoop hadoop
回车后会提示输入新的UNIX密码,这是新建用户hadoop的密码,输入回车即可。
如果不输入密码,回车后会重新提示输入密码,即密码不能为空。
最后确认信息是否正确,如果没问题,输入 Y,回车即可。
为hadoop用户添加权限
输入:sudo gedit /etc/sudoers回车,打开sudoers文件
给hadoop用户赋予和root用户同样的权限
切换账号
su hadoop
设置 HOST
SUDO gedit /etc/hosts
#ADD 这里IP地址重启VB之后有可能变化,需要重新查看桥接网卡IP,在设置
192.168.56.101 master
192.168.56.102 node1
192.168.56.103 node2
验证
ping master
ping node1
ping node2
http://www.aboutyun.com/thread-6843-1-1.html
设置SSH
1)生产公私秘钥
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
2)复制公私秘钥KEY
cd /.ssh
cat id_dsa.pub >> autohrized_keys
3)单机会还SSH免密码登录测试
ssh localhost
发现问题,链接拒绝,怀疑是防火墙问题或者SSH安装问题。
解决:
#关闭防火墙
service iptables stop
#查看防火墙状态
service iptables status
安装ssh
sudo
apt-get install openssh-server
4) 让主结点(master)能通过SSH免密码登录两个子结点(slave)
操作:node1 node2
cd .ssh/
scp hadoop@master:/home/hadoop/.ssh/id_dsa.pub ./master_das.pub
5)
复制aster.dsa-pub到认证KEY文件
cat id_dsa.pub >> autohrized_keys
验证登录
操作:master
ssh node1
ssh node2
免密码登录即可
#回收权限,防止成为肉鸡 chmod 600 authorized_keys
以上,环境配置成功:
参考文档:
http://www.aboutyun.com/thread-6843-1-1.html
http://www.cnblogs.com/mephisto/p/4837566.html
相关文章推荐
- 从0开始学习Hadoop(2)安装JDK
- 第三章:hadoop安装配置,jps命令不能使用。apt-get命令不能下载jdk,缺少依赖包,设置静态ip后不能上网,ubuntu防火墙,ssh无密码登录
- 开始hadoop前的准备:ubuntu学习笔记-基本环境的搭建(ssh的安装,SecureCRT连接,vim的安装及使用、jdk的安装)
- linux下从安装JDK到安装ssh到hadoop单机伪分布式部署
- Ubuntu下安装和设置JDK以及遇到的问题
- hadoop学习笔记一之ubuntu下安装jdk
- hadoop学习;安装jdk,workstation虚拟机v2v迁移;虚拟机之间和跨物理机之间ping网络通信;virtualbox的centos中关闭防火墙和检查服务启动
- 黑马程序员--Java学习02--JDK安装和环境变量的设置
- hadoop集群搭建(ip设置和jdk安装)
- linux学习:CentOS、Mac上SSH的设置以及SceureCRT中的文件上传下载
- Java JDK的安装以及CLASSPATH设置系统变量
- 安装、进程-云计算学习笔记---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载-by小雨
- 关于JDK 安装,以及Java环境的设置
- hadoop安装--10--设置 jdk 环境变量
- ubuntu 9.10 root登录 vi支持backspace与方向键 SSH安装 退出xwindow快捷键设置 apt-get源获取 配置雅黑字体 小企鹅输入法安装 NetBeans字体乱码 编译环境 JDK安装
- Linux安装完jdk后集中设置环境变量的方法,以及区别
- hadoop学习(mac 上安装 hadoop伪分布式以及hadoop的eclipse插件)
- hadoop学习---1.安装jdk
- hadoop学习;安装jdk,workstation虚拟机v2v迁移;虚拟机之间和跨物理机之间ping网络通信;virtualbox的centos中关闭防火墙和检查服务启动
- hadoop学习笔记1----构造模块与集群安装ssh与启动Hadoop