您的位置:首页 > 大数据 > Hadoop

基于Linux系统的hadoop安装教程

2020-07-15 05:15 232 查看

1、hadoop安装包下载:直接百度搜索hadoop进入官网选择自己想要的版本下载即可。
2、将hadoop安装包通过xftp拉到自己创建的虚拟机中,我是放在了opt文件夹中,并且在opt文件夹下建了一个soft文件夹,将解压后的hadoop放到soft文件夹中,便于以后使用,在这里我是将解压包放到soft下并且改名为hadoop260。

tar -zxf hadoop安装包
mv /opt/hadoop解压包 /opt/soft/hadoop260

3、修改hadoop的配置文件
(1)先进入hadoop的配置文件

cd /opt/soft/hadoop/etc/hadoop

进入这个文件夹之后就可以看到很多的配置文件。
首先我们要改hadoop-env.sh

vi hadoop-env.sh


进入配置文件后需要将JAVA_HOME的地址改为虚拟机上的jdk路径。

(2)修改core-site.xml

vi core-site.xml


在configuration标签中添加如图所示的四个配置项,上面的红框里是 hdfs://虚拟机 地址:9000,9000是默认端口号,下面的红框里路径要注意,要改成自己hadoop所在路径下的tmp。
(3)修改mapred-site.xml
(如果没有mapred-site.xml这个配置文件,就复制mapred-site.xml.template,改名为mapred-site.xml)

cp mapred-site.xml.template mapred-site.xml

复制成功后就可以访问文件了。

vi mapred-site.xml


在configuration中加入上图的配置项。
(4)修改hdfs-site.xml

vi hdfs-site.xml


在configuration中加入上图的配置项。
(5)修改yarn-site.xml

vi yarn-site.xml


在configuration中加入上图的配置项。

4、修改系统文件profile

vi /etc/profile


红框中的就是hadoop需要添加的变量,其中
hadoop的安装地址要改成自己的安装地址。

5、激活配置文件

source /etc/profile

6、格式化处理

hadoop namenode -format

7、启动hadoop

start-all.sh

验证是否成功:输入jps命令。查看是否有这五个进程(namenode、datanode、resourceManger、secondaryNameNode、nodeManger),在网页地址栏中输入虚拟机地址:50070,如果出现Hadoop可视化页面,则证明启动成功。

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: