06_Hadoop配置伪分布式模式详解
2016-03-04 15:32
295 查看
查看IP地址,设为手动模式:
配置hadoop用户sudo权限
su切换到root身份,配置vim /etc/sudoers文件,加入
hadoop ALL=(root)NOPASSWD:ALL
配置/opt文件夹的属主
将/opt文件夹的属于由root:root改为hadoop
sudo -R hadoop:hadoop /opt
关闭防火墙和禁用SELinux
# service iptables stop
# vim /etc/sysconfig/selinux 设置 SELINUX=disabled
查看(确认一下可省略)静态IP地址
# vi /etc/sysconfig/network-scripts/ifcfg-eth0
修改HostName
# hostname hadoop-master ##重启失效
# vi /etc/sysconfig/network ##永远有效
IP与Hostname绑定
# vi /etc/hosts
修改windows操作系统的hosts文件
Càwindowsàsystem32àdriversàetcàhosts添加如下内容;
设置SSH自动登录 —— 所有守护进程彼此通过SSH协议进行通信,无密码登录
1)$ ssh-keygen -t rsa ##在/home/hadoop目录下
2)$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
3)$ping localhost
$ping hadoop-master
$ping hadoop-master.dragon.org
$ping 192.168.38.180
准备工作
在/opt文件夹下创建文件夹如下;
本课程软件安装的规则:
/opt --- 父目录
/opt/modules -- 存放软件的安装目录
/opt/softwares -- 存放软件包(tar 包,bin 文件,zip 文件等)
/opt/tools -- 存储工具目录(Eclipse 等)
/opt/data -- 存储一些测试数据
/home/hadoop -- 存储工具盒测数据目录
安装JDK
1) 安装jdk之前要先卸载以前的版本,防止出现其他问题
rpm -qa|grep jdk ##查找安装的jdk
rpm -e --nodeps 【查找到的内容】
2)安装
直接将.tar.gz格式的jdk-x64文件在/opt/modules中解压就行了
配置环境变量 vim /etc/profile
Apache Hadoop伪分布模式安装
$ tar -zxvf hadoop-1.2.1.tar.gz
设置环境变量/etc/profile 增加内容如下:
export HADOOP_HOME=/opt/modules/ hadoop-1.2.1
export PATH=.:$HADOOP_HOME/bin:$PATH
使设置生效
# source /etc/profile
修改Hadoop中conf目录下的hadoop-env.sh文件,将Java的路径改为安装的路径
修改conf目录下的配置文件(使用UltraExit操作)
hadoop-env.sh
上面已经修改
core-site.xml
hdfs-site.xml
mapred-site.xml
格式化
$ hadoop namenode -format
至此已经配置完成下面启动五大守护进程
在hadoop*安装目录中的bin目录下运行
$start-all.sh
查看启动结果:
在Google浏览器中查看
1)查看dfs:http://hadoop-master.dragon.org:50070/
2)查看MP:http://hadoop-master.dragon.org:50030/
运行Wordcount测试
$ hadoop fs -mkdir /wc
$ hadoop fs -mkdir /wc/input
$ hadoop fs -cp /opt/modules/hadoop-1.2.1/conf/*.xml /wc/input
$ hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/input /wc/output
运行结束
结果图示
关闭五大守护进程
$ /bin/stop-all.sh
至此hadoop伪分布式模式安装并测试成功
配置hadoop用户sudo权限
su切换到root身份,配置vim /etc/sudoers文件,加入
hadoop ALL=(root)NOPASSWD:ALL
配置/opt文件夹的属主
将/opt文件夹的属于由root:root改为hadoop
sudo -R hadoop:hadoop /opt
关闭防火墙和禁用SELinux
# service iptables stop
# vim /etc/sysconfig/selinux 设置 SELINUX=disabled
查看(确认一下可省略)静态IP地址
# vi /etc/sysconfig/network-scripts/ifcfg-eth0
修改HostName
# hostname hadoop-master ##重启失效
# vi /etc/sysconfig/network ##永远有效
IP与Hostname绑定
# vi /etc/hosts
修改windows操作系统的hosts文件
Càwindowsàsystem32àdriversàetcàhosts添加如下内容;
设置SSH自动登录 —— 所有守护进程彼此通过SSH协议进行通信,无密码登录
1)$ ssh-keygen -t rsa ##在/home/hadoop目录下
2)$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
3)$ping localhost
$ping hadoop-master
$ping hadoop-master.dragon.org
$ping 192.168.38.180
准备工作
在/opt文件夹下创建文件夹如下;
本课程软件安装的规则:
/opt --- 父目录
/opt/modules -- 存放软件的安装目录
/opt/softwares -- 存放软件包(tar 包,bin 文件,zip 文件等)
/opt/tools -- 存储工具目录(Eclipse 等)
/opt/data -- 存储一些测试数据
/home/hadoop -- 存储工具盒测数据目录
安装JDK
1) 安装jdk之前要先卸载以前的版本,防止出现其他问题
rpm -qa|grep jdk ##查找安装的jdk
rpm -e --nodeps 【查找到的内容】
2)安装
直接将.tar.gz格式的jdk-x64文件在/opt/modules中解压就行了
配置环境变量 vim /etc/profile
Apache Hadoop伪分布模式安装
$ tar -zxvf hadoop-1.2.1.tar.gz
设置环境变量/etc/profile 增加内容如下:
export HADOOP_HOME=/opt/modules/ hadoop-1.2.1
export PATH=.:$HADOOP_HOME/bin:$PATH
使设置生效
# source /etc/profile
修改Hadoop中conf目录下的hadoop-env.sh文件,将Java的路径改为安装的路径
修改conf目录下的配置文件(使用UltraExit操作)
hadoop-env.sh
上面已经修改
core-site.xml
hdfs-site.xml
mapred-site.xml
格式化
$ hadoop namenode -format
至此已经配置完成下面启动五大守护进程
在hadoop*安装目录中的bin目录下运行
$start-all.sh
查看启动结果:
在Google浏览器中查看
1)查看dfs:http://hadoop-master.dragon.org:50070/
2)查看MP:http://hadoop-master.dragon.org:50030/
运行Wordcount测试
$ hadoop fs -mkdir /wc
$ hadoop fs -mkdir /wc/input
$ hadoop fs -cp /opt/modules/hadoop-1.2.1/conf/*.xml /wc/input
$ hadoop jar hadoop-examples-1.2.1.jar wordcount /wc/input /wc/output
运行结束
结果图示
关闭五大守护进程
$ /bin/stop-all.sh
至此hadoop伪分布式模式安装并测试成功
相关文章推荐
- 04_Apache Hadoop 生态系统
- php7+apache2.4 (Windows7下)安装
- 03_Hadoop简单介绍以及版本信息
- [转]《Hadoop基础教程》之初识Hadoop
- Docker教程:dokcer的配置和命令
- Docker教程:dokcer的配置和命令
- 成长的记忆-为架构师之路记些东西
- linux4.4 实时补丁安装
- centos6编译版mysql安装【转载】
- web前端开发入门之网站布局
- opencl::kernel中获取local memory size
- Hadoop configuration详解
- tomcat日志catalina.out 按天分片分割
- shell用到的命令(2) ―― break,continue,echo,eval,
- 【opencv】hough圆变换
- 如何在Linux下利用Libusb与HID USB设备通信!
- python web 部署:nginx + gunicorn + supervisor + flask 部署笔记
- opencv的imwrite访问冲突
- hadoop的Job相关功能
- Makefile笔记