centos 7 安装+hadoop2.6.5环境部署(伪分布式)
2017-11-02 21:08
375 查看
(一)软件准备
1.虚拟机 VMware-workstation-full-12.5.7.20721
2.Linux系统 CentOS-7-x86_64-Everything-1503-01
3.linux系统远程连接工具 SecureCRT 7
4.java环境JDK jdk-8u151-linux-x64.tar
5.hadoop软件包 hadoop-2.6.5.tar
(二)软件安装和环境配置
1.vmvare虚拟机安装 网上教程很多,安装简单
2.centOs 7安装教程很多,linux新手注意选择Everything版本安装,等玩熟了linux可以选择mini版安装
安装完成如上图所示,可以用组合键ctrl+alt+f1和ctrl+alt+f2在窗口界面和shell界面切换。博主现切换到shell界面。
下面对centOs进行简单的配置,用以安装hadoop做准备。
(1)修改网络配置,将主机的内网ip固定
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
主要需注意修改的如下:
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.104
(2)关闭防火墙
systemctl stop firewalld.service
同时关闭防火墙的开机自动启动选项
systemctl disable firewalld.service
至此,linux基本环境配置完成。
3安装secureCRT
7,这个工具主要是用于更方便的操作vmvare里面的linux机,网上安装教程很多。
4.安装jdk
博主的操作如下:
mkdir /usr/JAVA 新建一个java文件夹
tar -zxvf jdk-8u151-linux-x64.tar.gz -C /usr/JAVA 将jdk解压安装到此目录文件夹
vi /etc/profile 配置java环境变量
插入如下
java -version 检验java是否安装成功
出现如下则配置java成功。
5.安装hadoop
mkdir /bigdate 新建一个文件夹用来安装hadoop
tar -zxvf hadoop-2.6.5.tar.gz -C /bigdate 将hadoop解压到新建的bigdate文件夹下
可以看到解压完成 。
在进行如下操作,
可以看到,hadoop安装好的文件夹下面有几个比较重要的文件夹,其中,对etc 文件夹下面存有hadoop配置的相关文件。我们可以进去看看etc文件夹下有哪些文件
可以卡的有好多配置文件。
我们主要需要配置5个文件!
第一个:hadoop-env.sh 25行地方,配置我们的java_home
第二个:core-site.xml 主要完成configration里面的配置
第三个:修改hdfs-site.xml
第四个:mapred-site.xml
第五个:yarn-site.xml
至此,我们hadoop的配置完成。
下面我们对hdfs初始化(格式化hdfs的namenode)
./hdfs namenode -format
直到我们看到图片中额第一行所示,has been successfully formatted才算初始化成功。
接着我们启动hdfs
sbin/start-dfs.sh
再用jps查看我们的java进程,有了四个,其中三个为hdfs的进程。
我们在宿主机的浏览器中输入http://192.168.0.104:50070/,可以看到
说明我们的hdfs已经启动!
sbin/start-yarn.sh 再启动yarn,
在宿主机的网页浏览器上输入 http://192.168.0.104:8088/
可以看到
说明我们的yarn也已经启动!至此,伪分布式的hadoop已经安装完成!
1.虚拟机 VMware-workstation-full-12.5.7.20721
2.Linux系统 CentOS-7-x86_64-Everything-1503-01
3.linux系统远程连接工具 SecureCRT 7
4.java环境JDK jdk-8u151-linux-x64.tar
5.hadoop软件包 hadoop-2.6.5.tar
(二)软件安装和环境配置
1.vmvare虚拟机安装 网上教程很多,安装简单
2.centOs 7安装教程很多,linux新手注意选择Everything版本安装,等玩熟了linux可以选择mini版安装
安装完成如上图所示,可以用组合键ctrl+alt+f1和ctrl+alt+f2在窗口界面和shell界面切换。博主现切换到shell界面。
下面对centOs进行简单的配置,用以安装hadoop做准备。
(1)修改网络配置,将主机的内网ip固定
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
主要需注意修改的如下:
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.0.104
(2)关闭防火墙
systemctl stop firewalld.service
同时关闭防火墙的开机自动启动选项
systemctl disable firewalld.service
至此,linux基本环境配置完成。
3安装secureCRT
7,这个工具主要是用于更方便的操作vmvare里面的linux机,网上安装教程很多。
4.安装jdk
博主的操作如下:
mkdir /usr/JAVA 新建一个java文件夹
tar -zxvf jdk-8u151-linux-x64.tar.gz -C /usr/JAVA 将jdk解压安装到此目录文件夹
vi /etc/profile 配置java环境变量
插入如下
java -version 检验java是否安装成功
出现如下则配置java成功。
5.安装hadoop
mkdir /bigdate 新建一个文件夹用来安装hadoop
tar -zxvf hadoop-2.6.5.tar.gz -C /bigdate 将hadoop解压到新建的bigdate文件夹下
可以看到解压完成 。
在进行如下操作,
可以看到,hadoop安装好的文件夹下面有几个比较重要的文件夹,其中,对etc 文件夹下面存有hadoop配置的相关文件。我们可以进去看看etc文件夹下有哪些文件
可以卡的有好多配置文件。
我们主要需要配置5个文件!
第一个:hadoop-env.sh 25行地方,配置我们的java_home
第二个:core-site.xml 主要完成configration里面的配置
第三个:修改hdfs-site.xml
第四个:mapred-site.xml
第五个:yarn-site.xml
至此,我们hadoop的配置完成。
下面我们对hdfs初始化(格式化hdfs的namenode)
./hdfs namenode -format
直到我们看到图片中额第一行所示,has been successfully formatted才算初始化成功。
接着我们启动hdfs
sbin/start-dfs.sh
再用jps查看我们的java进程,有了四个,其中三个为hdfs的进程。
我们在宿主机的浏览器中输入http://192.168.0.104:50070/,可以看到
说明我们的hdfs已经启动!
sbin/start-yarn.sh 再启动yarn,
在宿主机的网页浏览器上输入 http://192.168.0.104:8088/
可以看到
说明我们的yarn也已经启动!至此,伪分布式的hadoop已经安装完成!
相关文章推荐
- centos6.5之Hadoop1.2.1完全分布式部署安装
- hadoop分布式安装部署详细视频教程(网盘附配好环境的CentOS虚拟机文件/hadoop配置文件)
- win8的vmware中的centOS6.6上安装hadoop2.7.0伪分布式部署
- centos6.8安装开发环境2之hadoop伪分布式搭建
- hadoop分布式安装部署详细视频教程(网盘附配好环境的CentOS虚拟机文件/hadoop配置文件)
- centOS6.5安装hadoop2.7后,再安装hbase1.1.0.1,完全分布式部署
- Hadoop伪分布式环境部署及Spark、Intellij IDEA安装
- centos下搭建单机和伪分布式hadoop环境-(2)下载安装所需软件+测试hadoop的单机模式
- Hadoop2.7.2 Centos 完全分布式集群环境搭建 (2) - Hadoop安装与配置(完全分布式)
- Hadoop学习6_CentOS6.5系统下Hadoop2.6.0完全分布式环境安装与配置信息介绍
- WMware 中CentOS系统Hadoop 分布式环境搭建(一)——Hadoop安装环境准备
- centos 6.6 hadoop 2.7.1 完全分布式安装部署
- 在 CentOS 7.2 下安装 Hadoop 2.7.5 并搭建伪分布式环境的方法
- Centos7 + Hadoop 3.0 伪分布式环境安装部署
- 搭建hadoop完全分布式环境,CentOS6.5安装Hadoop2.7.3完整流程
- Hadoop2.6.5安装部署及环境变量配置
- linux(redhat)环境下Hadoop 2.2.0安装部署(单机伪分布式)
- centOS6.5安装hadoop2.7的分布式部署(三台主机)
- hadoop2.6.5+spark2.1.0+hbase1.2.6完全分布式环境部署
- 搭建hadoop完全分布式环境,CentOS6.5安装Hadoop2.7.3完整流程