Linux下安装配置hadoop
2016-05-26 20:54
190 查看
今天在这给大家分享一下单节点下hadoop的安装和配置
1,在Linux下解压hadoop安装包hadoop-2.6.0-cdh5.4.3.tar.gz 执行命令 tar -zxvf hadoop-2.6.0-cdh5.4.3.tar.gz
2,解压之后进入hadoop解压目录下的/etc/hadoop下。配置hadoop的环境和内容,下面是一些配置文件的配置
1.配置core-site.xml。
![](http://img.blog.csdn.net/20160526210257334?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
那个node是你Linux系统的主机名,也可以写成你系统的IP地址
2,配置 hdfs-site.xml文件
![](http://img.blog.csdn.net/20160526210406959?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
这个文件的配置是配置你的以后文件上传和下载地址。里面需要的目录,需要你自己创建,并按照你自己的路径填写
3,配置yarn-site.xml文件
![](http://img.blog.csdn.net/20160526210557166?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
5,配置mapred-site.xml
![](http://img.blog.csdn.net/20160526210843311?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
上面那些最主要的配置配完之后,下面就是环境变量和jdk环境变量的配置了
在根目录下的/etc/profile文件里配置hadoop的环境变量
![](http://img.blog.csdn.net/20160526211324380?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
上面的环境变量配好之后就要配置hadoop的jdk环境的配置需要在hadoop-env.sh。mapred-env.sh,yarn-env.sh配置你装的jdk环境,如图
![](http://img.blog.csdn.net/20160526211939574?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
![](http://img.blog.csdn.net/20160526211947153?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
![](http://img.blog.csdn.net/20160526211956606?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
上面之后就全部配置好了,下面就要为第一次的运行做准备,格式化结点,输入命令hdfs namenode -format
![](http://img.blog.csdn.net/20160526212126622?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
之后就要启动hadoop了,进入hadoop sbin目录下运行start-all.sh,出现五个进程hadoop说明成功启动
![](http://img.blog.csdn.net/20160526212331982?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
之后在浏览器里输入 http://主机IP:8088,http://主机IP:50070如果可以进去网页,说明hadoop配置成功
1,在Linux下解压hadoop安装包hadoop-2.6.0-cdh5.4.3.tar.gz 执行命令 tar -zxvf hadoop-2.6.0-cdh5.4.3.tar.gz
2,解压之后进入hadoop解压目录下的/etc/hadoop下。配置hadoop的环境和内容,下面是一些配置文件的配置
1.配置core-site.xml。
那个node是你Linux系统的主机名,也可以写成你系统的IP地址
2,配置 hdfs-site.xml文件
这个文件的配置是配置你的以后文件上传和下载地址。里面需要的目录,需要你自己创建,并按照你自己的路径填写
3,配置yarn-site.xml文件
5,配置mapred-site.xml
上面那些最主要的配置配完之后,下面就是环境变量和jdk环境变量的配置了
在根目录下的/etc/profile文件里配置hadoop的环境变量
上面的环境变量配好之后就要配置hadoop的jdk环境的配置需要在hadoop-env.sh。mapred-env.sh,yarn-env.sh配置你装的jdk环境,如图
上面之后就全部配置好了,下面就要为第一次的运行做准备,格式化结点,输入命令hdfs namenode -format
之后就要启动hadoop了,进入hadoop sbin目录下运行start-all.sh,出现五个进程hadoop说明成功启动
之后在浏览器里输入 http://主机IP:8088,http://主机IP:50070如果可以进去网页,说明hadoop配置成功
相关文章推荐
- 搬瓦工VPS(Centos6_x86)+LNMP+WordPress搭建个人博客/网站
- 【操作系统】linux创建子进程--fork()方法
- 深入浅出linux内核源代码之双向链表list_head(下):
- 深入浅出linux内核源代码之双向链表list_head(上)
- Linux内核创建新进程的全过程
- 使用VS+VisualGDB编译Linux版本RCF(相当于Linux也有COM版本了)
- 使用VS+VisualGDB编译调试Linux程序
- 旧版本Ubuntu添加源
- linux内核分析ELF文件分析实践报告
- linux内核分析程序破解实践报告
- Linux虚拟文件系统VFS简述
- Linux 之不同运维人员共用root 账户权限审计
- Linux C++ 开发简介(包括Linux守护线程)
- Linux目录作用
- 在linux下创建软链接(即目录映射)
- linux内实践核分析模块
- 【Linux】vim的配置
- 在VMware上安装CentOS-6.5 minimal - 安装VMware Tools
- Linux堆内存管理深入分析
- 查看linux系统版本命令