您的位置:首页 > 运维架构 > Linux

centos 7 安装+hadoop2.6.5环境部署(伪分布式)

2017-11-02 21:08 375 查看
(一)软件准备

1.虚拟机 VMware-workstation-full-12.5.7.20721 

2.Linux系统  CentOS-7-x86_64-Everything-1503-01

3.linux系统远程连接工具  SecureCRT 7

4.java环境JDK   jdk-8u151-linux-x64.tar

5.hadoop软件包  hadoop-2.6.5.tar

(二)软件安装和环境配置

1.vmvare虚拟机安装 网上教程很多,安装简单

2.centOs 7安装教程很多,linux新手注意选择Everything版本安装,等玩熟了linux可以选择mini版安装

安装完成如上图所示,可以用组合键ctrl+alt+f1和ctrl+alt+f2在窗口界面和shell界面切换。博主现切换到shell界面。

下面对centOs进行简单的配置,用以安装hadoop做准备。

(1)修改网络配置,将主机的内网ip固定

 vi /etc/sysconfig/network-scripts/ifcfg-eno16777736

主要需注意修改的如下:

   ONBOOT=yes

   BOOTPROTO=static

   IPADDR=192.168.0.104

(2)关闭防火墙

systemctl stop firewalld.service

同时关闭防火墙的开机自动启动选项
systemctl disable firewalld.service

至此,linux基本环境配置完成。

3安装secureCRT
7,这个工具主要是用于更方便的操作vmvare里面的linux机,网上安装教程很多。

4.安装jdk
博主的操作如下:
mkdir /usr/JAVA 新建一个java文件夹
tar -zxvf jdk-8u151-linux-x64.tar.gz -C /usr/JAVA   将jdk解压安装到此目录文件夹
vi  /etc/profile 配置java环境变量
插入如下

java -version 检验java是否安装成功

出现如下则配置java成功。

5.安装hadoop
mkdir /bigdate 新建一个文件夹用来安装hadoop
tar -zxvf hadoop-2.6.5.tar.gz -C /bigdate    将hadoop解压到新建的bigdate文件夹下

可以看到解压完成 。
在进行如下操作,

可以看到,hadoop安装好的文件夹下面有几个比较重要的文件夹,其中,对etc 文件夹下面存有hadoop配置的相关文件。我们可以进去看看etc文件夹下有哪些文件

可以卡的有好多配置文件。
我们主要需要配置5个文件!
第一个:hadoop-env.sh  25行地方,配置我们的java_home

第二个:core-site.xml   主要完成configration里面的配置

 第三个:修改hdfs-site.xml

第四个:mapred-site.xml

第五个:yarn-site.xml

 

至此,我们hadoop的配置完成。

下面我们对hdfs初始化(格式化hdfs的namenode)

./hdfs namenode -format

直到我们看到图片中额第一行所示,has been successfully formatted才算初始化成功。

接着我们启动hdfs

sbin/start-dfs.sh

再用jps查看我们的java进程,有了四个,其中三个为hdfs的进程。

我们在宿主机的浏览器中输入http://192.168.0.104:50070/,可以看到

说明我们的hdfs已经启动!

sbin/start-yarn.sh    再启动yarn,

在宿主机的网页浏览器上输入 http://192.168.0.104:8088/

可以看到

说明我们的yarn也已经启动!至此,伪分布式的hadoop已经安装完成!
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  大数据 hadoop安装
相关文章推荐