hadoop集群的安装、配置
2012-10-12 14:59
429 查看
准备工作:
安装jdk、ssh,修改hosts主机解析等;
配置java环境变量 详见:/article/10738309.html
配置ssh免密码登录 详见:/article/10738304.html
将master,slave的主机解析信息添加到各master、slave的/etc/hosts文件中
搭建hadoop环境:
1.创建hadoop用户、修改密码:(master、slaves做同样操作)
#useradd hadoop
#passwd hadoop
2.安装hadoop
#mv hadoop-1.0.3.tar.gz ~hadoop
#chown hadoop.hadoop ~hadoop/hadoop-1.0.3.tar.gz
#su - hadoop
$pwd
/home/hadoop
$tar zxf hadoop-1.0.3.tar.gz
$mv hadoop-1.0.3.tar.gz hadoop
3.配置hadoop
$pwd
/home/hadoop/hadoop
$cd conf
$vi hadoop-env.sh
#修改java环境变量
export JAVA_HOME=/usr/local/java
这个文件中要注意“HADOOP_LOG_DIR ”变量,hadoop日志的存储位置,有问题首先查看日志
$vi core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop/hadooptmp</value>
<description>A base for other temporary directories.</description>
</property>
$ vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
$vi mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
</configuration>
4.格式化hdfs
$pwd
/home/hadoop/hadoop
$./bin/hadoop namenode -format
。。。(输出信息省略)
注意:多次进行格式化,需要保证master和slave的namespaceID保持一致,否则datanode无法启动
/article/10738305.html
5.将配置好的hadoop分发到各slave的hadoop用户下
$pwd
/home/hadoop
$scp -r hadoop hadoop@slaveX:~
6.启动hadoop集群:
$pwd
/home/hadoop/hadoop
$./bin/start-all.sh
。。。(输出信息省略)
7.检查启动结果:
$pwd
/home/hadoop/hadoop
$./bin/hadoop fs -ls /
显示hdfs文件系统信息
如果是hadoop的伪分布
只需将上述配置中的master的相关信息,改成localhost的信息,hdfs-site.xml文件中dfs.replication配置项的值改为1.
安装jdk、ssh,修改hosts主机解析等;
配置java环境变量 详见:/article/10738309.html
配置ssh免密码登录 详见:/article/10738304.html
将master,slave的主机解析信息添加到各master、slave的/etc/hosts文件中
搭建hadoop环境:
1.创建hadoop用户、修改密码:(master、slaves做同样操作)
#useradd hadoop
#passwd hadoop
2.安装hadoop
#mv hadoop-1.0.3.tar.gz ~hadoop
#chown hadoop.hadoop ~hadoop/hadoop-1.0.3.tar.gz
#su - hadoop
$pwd
/home/hadoop
$tar zxf hadoop-1.0.3.tar.gz
$mv hadoop-1.0.3.tar.gz hadoop
3.配置hadoop
$pwd
/home/hadoop/hadoop
$cd conf
$vi hadoop-env.sh
#修改java环境变量
export JAVA_HOME=/usr/local/java
这个文件中要注意“HADOOP_LOG_DIR ”变量,hadoop日志的存储位置,有问题首先查看日志
$vi core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop/hadooptmp</value>
<description>A base for other temporary directories.</description>
</property>
$ vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
$vi mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>master:9001</value>
</property>
</configuration>
4.格式化hdfs
$pwd
/home/hadoop/hadoop
$./bin/hadoop namenode -format
。。。(输出信息省略)
注意:多次进行格式化,需要保证master和slave的namespaceID保持一致,否则datanode无法启动
/article/10738305.html
5.将配置好的hadoop分发到各slave的hadoop用户下
$pwd
/home/hadoop
$scp -r hadoop hadoop@slaveX:~
6.启动hadoop集群:
$pwd
/home/hadoop/hadoop
$./bin/start-all.sh
。。。(输出信息省略)
7.检查启动结果:
$pwd
/home/hadoop/hadoop
$./bin/hadoop fs -ls /
显示hdfs文件系统信息
如果是hadoop的伪分布
只需将上述配置中的master的相关信息,改成localhost的信息,hdfs-site.xml文件中dfs.replication配置项的值改为1.
相关文章推荐
- Hadoop集群之Hive安装配置
- Ubuntu系统下安装并配置Hadoop-2.2.0集群
- Hadoop2.6.4集群安装配置
- Centos中安装配置local/standalone模式和伪分布式模式hadoop集群
- hadoop - hadoop2.6 分布式 - 集群环境搭建 - JDK安装配置和SSH安装配置与免密码登陆(集群中)
- Hadoop集群安装及简单配置
- Hadoop集群安装配置
- hadoop集群内lzo的安装与配置 推荐
- Hadoop集群安装配置实验
- 生产环境下Hadoop大集群安装与配置+DNS+NFS
- Hadoop完全分布式集群安装及配置(基于虚拟机)
- Hadoop集群系列5:Hadoop安装配置(2)
- Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS
- HADOOP 集群安装配置
- Hadoop 2.5.1集群安装配置
- Hadoop集群(第5期)_Hadoop安装配置
- Hadoop集群_Hadoop安装配置
- 完全分布模式hadoop集群安装配置之二 添加新节点组成分布式集群
- Hadoop 2.4.x集群安装配置问题总结
- hadoop集群配置之hive1.2.0安装部署(远程mysql)