HADOOP的伪分布搭建
2014-01-05 14:35
274 查看
1.hadoop的伪分布安装
1.1 设置ip地址
执行命令
service network restart
验证:
ifconfig
1.2 关闭防火墙
[b] [/b]执行命令
service iptables stop
[b] [/b]验证:
service iptables status
1.3
关闭防火墙的自动运行
[b] [/b]执行命令
chkconfig iptables off
[b] [/b]验证:
chkconfig --list | grep iptables
1.4 设置主机名
[b] [/b]执行命令
[b] [/b](1)hostname chaoren
[b] [/b](2)vi /etc/sysconfig/network
1.5 ip与hostname绑定
[b] [/b]执行命令
vi /etc/hosts
[b] [/b]验证:
ping chaoren
1.6 设置ssh免密码登陆
[b] [/b]执行命令
(1)ssh-keygen -t rsa
[b] [/b](2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
[b] [/b]验证:
ssh chaoren
1.7 安装jdk
[b] [/b]执行命令
(1)cd /usr/local
[b] [/b](2)chmod u+x jdk-6u24-linux-i586.bin
[b] [/b](3)./jdk-6u24-linux-i586.bin
[b] [/b](4)mv jdk1.6.0_24 jdk
[b] [/b](5)vi /etc/profile 增加内容如下:
[b] [b] [/b][/b]export JAVA_HOME=/usr/local/jdk
[b] [b] [/b][/b]export PATH=.:$JAVA_HOME/bin:$PATH
[b] [/b](6)source /etc/profile
[b] [/b]验证:
java -version
1.8 安装hadoop
[b] [b] [/b][/b]执行命令
(1)tar -zxvf hadoop-1.1.2.tar.gz
[b] [/b](2)mv hadoop-1.1.2 hadoop
[b] [/b](3)vi /etc/profile 增加内容如下:
[b] [b] [/b][/b]export JAVA_HOME=/usr/local/jdk
[b] [b] [/b][/b]export HADOOP_HOME=/usr/local/hadoop
[b] [b] [/b][/b]export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
[b] [/b](4)source /etc/profile
[b] [/b](5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
[b] [/b](6)hadoop namenode -format
[b] [/b](7)start-all.sh
[b] [b] [/b][/b]验证:
(1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
[b] [/b](2)在浏览器查看,http://hadoop1:50070 http://hadoop1:50030
1.9 启动时没有NameNode的可能原因:
[b] [/b](1)没有格式化
[b] [/b](2)环境变量设置错误
[b] [/b](3)ip与hostname绑定失败
1.1 设置ip地址
执行命令
service network restart
验证:
ifconfig
1.2 关闭防火墙
[b] [/b]执行命令
service iptables stop
[b] [/b]验证:
service iptables status
1.3
关闭防火墙的自动运行
[b] [/b]执行命令
chkconfig iptables off
[b] [/b]验证:
chkconfig --list | grep iptables
1.4 设置主机名
[b] [/b]执行命令
[b] [/b](1)hostname chaoren
[b] [/b](2)vi /etc/sysconfig/network
1.5 ip与hostname绑定
[b] [/b]执行命令
vi /etc/hosts
[b] [/b]验证:
ping chaoren
1.6 设置ssh免密码登陆
[b] [/b]执行命令
(1)ssh-keygen -t rsa
[b] [/b](2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
[b] [/b]验证:
ssh chaoren
1.7 安装jdk
[b] [/b]执行命令
(1)cd /usr/local
[b] [/b](2)chmod u+x jdk-6u24-linux-i586.bin
[b] [/b](3)./jdk-6u24-linux-i586.bin
[b] [/b](4)mv jdk1.6.0_24 jdk
[b] [/b](5)vi /etc/profile 增加内容如下:
[b] [b] [/b][/b]export JAVA_HOME=/usr/local/jdk
[b] [b] [/b][/b]export PATH=.:$JAVA_HOME/bin:$PATH
[b] [/b](6)source /etc/profile
[b] [/b]验证:
java -version
1.8 安装hadoop
[b] [b] [/b][/b]执行命令
(1)tar -zxvf hadoop-1.1.2.tar.gz
[b] [/b](2)mv hadoop-1.1.2 hadoop
[b] [/b](3)vi /etc/profile 增加内容如下:
[b] [b] [/b][/b]export JAVA_HOME=/usr/local/jdk
[b] [b] [/b][/b]export HADOOP_HOME=/usr/local/hadoop
[b] [b] [/b][/b]export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
[b] [/b](4)source /etc/profile
[b] [/b](5)修改conf目录下的配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml
[b] [/b](6)hadoop namenode -format
[b] [/b](7)start-all.sh
[b] [b] [/b][/b]验证:
(1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
[b] [/b](2)在浏览器查看,http://hadoop1:50070 http://hadoop1:50030
1.9 启动时没有NameNode的可能原因:
[b] [/b](1)没有格式化
[b] [/b](2)环境变量设置错误
[b] [/b](3)ip与hostname绑定失败
相关文章推荐
- hadoop伪分布环境搭建
- Hadoop实战(2)_虚拟机搭建Hadoop的全分布模式
- Centos6.5 Hadoop完全分布集群搭建详解
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Hadoop 基础搭建历程-单机单点(伪分布模式)
- Hadoop伪分布搭建
- hadoop2.2伪分布搭建
- VBox下CentOS的hadoop伪分布环境的搭建(四)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- Hadoop在Unbunt环境下的伪分布模式搭建教程
- Hadoop2.x伪分布环境搭建
- Hadoop 2.2.0单节点的伪分布集成环境搭建
- hadoop学习笔记之hadoop伪分布集群搭建(二)
- hadoop 2.6.4 伪分布集群搭建
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- hadoop-2.5.0-cdh5.2.0伪分布模式搭建
- hadoop +hbase +zookeeper 完全分布搭建
- hadoop集群环境搭建-hadoop之伪分布搭建环境
- Hadoop 2.2.0单节点的伪分布集成环境搭建
- hadoop伪分布的搭建与测试编码