关于在windows下面虚拟机创建linux的hadoop配置
2017-04-25 12:43
351 查看
1、 时刻关注命令行的当前目录和当前用户
如图,hadoop代表当前的用户为hadoop,master代表当前主机名,~代表当前所在的目录。查看当前目录的完成路径命令为pwd
2、 若在linux中执行命令时遇到permission denied,说明当前用户权限不够,可能需要切换至root用户执行(su命令),建议执行完后立刻退出root登录(输入命令exit)
Linux:
1、 在~目录下新建目录DevelopEnv,进入DevelopEnv目录
2、 配置jdk
下载,wget --no-check-certificate --no-cookies –header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u121-b13/e9e7ea248e2c4826b92b3f075a80e441/jdk-8u121-linux-x64.tar.gz
解压,tar –zxvf jdk-8u121-linux-x64.tar.gz
进入解压得到的jdk目录(cd jdk1.8.0_121),通过pwd得到当前路径
通过vi编辑~目录下.bash_profile文件,设置JAVA_HOME为刚才的jdk的完整路径,在path变量的最后插入内容“:$JAVA_HOME/bin”(注意不要丢了第一个冒号),保存并退出。
输入命令source .bash_profile使环境变量配置生效。
输入命令java或javac,若出现跟JAVA相关的内容则表示配置成功。
3、 若主机名不为master,通过hostnamectl set-hostname master修改主机名为master
4、 关闭防火墙systemctl stop firewalld.service
Hadoop:
1、 在DevelopEnv
4000
目录下载Hadoop
wget
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz
2、 解压tar –zxvf Hadoop-2.8.0.tar.gz
3、 配置Hadoop环境变量,方法同jdk,(新增HADOOP_HOME和添加path),配置完成后输入hadoop命令,若出现hadoop相关信息则表示配置成功
4、 在DevelopEnv目录下新建一个目录Data,并在Data中新建一个目录tmp(可以通过mkdir
-p Data/tmp一次性操作)
5、 进入hadoop-2.8.0目录下etc/hadoop目录
6、 编辑Hadoop-env.sh,在文档最后添加
export JAVA_HOME=(同Linux中JAVA_HOME对应的路径)
7、 编辑core-site.xml文件
在<configuration></configuration>中间添加配置:
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>第四步中新建的tmp目录的路径</value>
</property>
8、 编辑hdfs-site.xml文件
在<configuration></configuration>中间添加配置:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.http.address</name>
<value>master:50070</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>master:50090</value>
</property>
9、 输入命令hadoop namenode –format对namenode进行格式化
服务启动:
1、 运用vmware中克隆的功能克隆一份linux系统(若操作中有问题也可通过今天安装的过程重新安装一个全新的系统,但是需要将上述Linux和Hadoop配置的过程完整重复一遍)
2、 在新的系统中通过命令hostname set-hostname slave1修改主机名为slave1
3、 通过命令ifconfig分别查看两个系统的ip地址
4、 分别编辑master和slave1中/etc/hosts文件(需要以root用户),添加以下内容
192.168.0.12 master master
192.168.0.13 slave1 slave1
图中的ip地址改为刚刚第三步中查到的ip地址
5、 编辑master节点中hadoop主目录下etc/hadoop目录中的slave文件
新增一行,内容为slave1
6、 分别在master和slave1中的~目录下,执行命令ssh-keygen
–t rsa生成密钥
再在master中执行ssh-copy-id slave1
再在slave1中执行ssh-copy-id master
目的是分别生成两个节点的ssh登录密钥,并共享给对方,使得双方都可以通过ssh免密登录对方。
7、 在master节点中,切换目录至hadoop-2.8.0,输入命令sbin/start-dfs.sh即可启动HDFS服务。
如图,hadoop代表当前的用户为hadoop,master代表当前主机名,~代表当前所在的目录。查看当前目录的完成路径命令为pwd
2、 若在linux中执行命令时遇到permission denied,说明当前用户权限不够,可能需要切换至root用户执行(su命令),建议执行完后立刻退出root登录(输入命令exit)
Linux:
1、 在~目录下新建目录DevelopEnv,进入DevelopEnv目录
2、 配置jdk
下载,wget --no-check-certificate --no-cookies –header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u121-b13/e9e7ea248e2c4826b92b3f075a80e441/jdk-8u121-linux-x64.tar.gz
解压,tar –zxvf jdk-8u121-linux-x64.tar.gz
进入解压得到的jdk目录(cd jdk1.8.0_121),通过pwd得到当前路径
通过vi编辑~目录下.bash_profile文件,设置JAVA_HOME为刚才的jdk的完整路径,在path变量的最后插入内容“:$JAVA_HOME/bin”(注意不要丢了第一个冒号),保存并退出。
输入命令source .bash_profile使环境变量配置生效。
输入命令java或javac,若出现跟JAVA相关的内容则表示配置成功。
3、 若主机名不为master,通过hostnamectl set-hostname master修改主机名为master
4、 关闭防火墙systemctl stop firewalld.service
Hadoop:
1、 在DevelopEnv
4000
目录下载Hadoop
wget
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz
2、 解压tar –zxvf Hadoop-2.8.0.tar.gz
3、 配置Hadoop环境变量,方法同jdk,(新增HADOOP_HOME和添加path),配置完成后输入hadoop命令,若出现hadoop相关信息则表示配置成功
4、 在DevelopEnv目录下新建一个目录Data,并在Data中新建一个目录tmp(可以通过mkdir
-p Data/tmp一次性操作)
5、 进入hadoop-2.8.0目录下etc/hadoop目录
6、 编辑Hadoop-env.sh,在文档最后添加
export JAVA_HOME=(同Linux中JAVA_HOME对应的路径)
7、 编辑core-site.xml文件
在<configuration></configuration>中间添加配置:
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>第四步中新建的tmp目录的路径</value>
</property>
8、 编辑hdfs-site.xml文件
在<configuration></configuration>中间添加配置:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.http.address</name>
<value>master:50070</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>master:50090</value>
</property>
9、 输入命令hadoop namenode –format对namenode进行格式化
服务启动:
1、 运用vmware中克隆的功能克隆一份linux系统(若操作中有问题也可通过今天安装的过程重新安装一个全新的系统,但是需要将上述Linux和Hadoop配置的过程完整重复一遍)
2、 在新的系统中通过命令hostname set-hostname slave1修改主机名为slave1
3、 通过命令ifconfig分别查看两个系统的ip地址
4、 分别编辑master和slave1中/etc/hosts文件(需要以root用户),添加以下内容
192.168.0.12 master master
192.168.0.13 slave1 slave1
图中的ip地址改为刚刚第三步中查到的ip地址
5、 编辑master节点中hadoop主目录下etc/hadoop目录中的slave文件
新增一行,内容为slave1
6、 分别在master和slave1中的~目录下,执行命令ssh-keygen
–t rsa生成密钥
再在master中执行ssh-copy-id slave1
再在slave1中执行ssh-copy-id master
目的是分别生成两个节点的ssh登录密钥,并共享给对方,使得双方都可以通过ssh免密登录对方。
7、 在master节点中,切换目录至hadoop-2.8.0,输入命令sbin/start-dfs.sh即可启动HDFS服务。
相关文章推荐
- windows下eclipse开发hadoop连接虚拟机linux配置的问题
- windows下eclipse开发hadoop连接虚拟机linux配置的问题
- Windows下虚拟机Linux FTP的安装配置与使用
- 为Linux集群创建新账户,并配置hadoop集群
- hadoop的一些安装经验+关于命令窗口配置Linux(centos 7)的Ip地址和自启动网络
- 关于windows和linux权限分析,及linux下facl的配置
- 关于linux下面挂载Windows硬盘,但是无法在Windows下看到数据
- HBase在Linux下和windows下面的安装和配置
- 关于虚拟机下的linux,从网络配置到安装JDK
- win7中的eclipse连接虚拟机中Linux(Ubuntu)的Hadoop (附上配置时遇到的错误和解决的方法)
- eclipse远程连接hadoop集群配置(windows及linux下)
- 在Linux系统中配置Hadoop环境(1)---在虚拟机上安装Linux Ubuntu系统
- hadoop基础-------虚拟机(五)-----虚拟机linux系统网络配置的三种模式
- windows连接虚拟机linux下mysql配置
- 为Linux集群创建新账户,并配置hadoop集群
- 关于虚拟机下linux共享Windows文件的解决方案
- Hadoop:配置-linux-虚拟机Fedora-<1master+2slaves>
- windows下面用putty连接到虚拟机Linux
- windows下用Vmware创建虚拟机搭建hadoop平台
- 关于Hadoop2.2.0在虚拟机centOS6.5下的安装配置