生产环境下hadoop集群配置实验
2013-12-21 17:52
309 查看
一、实验环境:
本文的环境搭建是: Mac OS 中利用virtualbox虚拟三台基于centos的服务器。如下图
IP 域名配置表如下:
二. 部署前准备:
集群部署涉及的软件包括: jdk ,ssh ,dns, nfs 和 hadoop-1.2.1
1.配置J***A,
Hadoop环境变量:
第一步:terminal中输入命令 vi /etc/profile
第二步:在编辑状态下加入如下的环境变量
#setJava environment
exportJ***A_HOME=/usr/java/jdk1.7.0_25
exportCLASSPATH=./:$J***A_HOME/lib:$J***A_HOME/lib/dt.jar:$J***A_HOME/lib/tools.jar
exportPATH=$PATH:$J***A_HOME/bin:$J***A_HOME
#sethadoop environment
exportHADOOP_HOME=/home/lihui/hadoop/hadoop-1.2.1
exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/conf
三.配置DNS服务器
说明:在生产的hadoop集群环境中,由于服务器可能会有许多台,通过配置DNS映射机器名,相比配置/etc/host方法,可以避免在每个节点都配置各自
的host文件,而且在新增节点时也不需要修改每个节点的/etc/host的主机名-IP映射文件。减少了配置步骤和时间,便于管理。
详细步骤见:
【生产环境下hadoop集群配置之DNS配置实验】
四. 配置NFS服务器进行SSH免密码登录
说明:通过NFS配置ssh免密码连入时,当我们有新的节点接入时,不再需要分别向其它节点各自添加自己公钥信息,只需要把公钥信息追加到共享的 authorized_keys公钥当中,其它节点就直接指向最新的公钥文件。便于分配公钥和管理。
详细步骤见:
【生产环境下hadoop集群配置之NFS配置实验】
五. hadoop 相关配置文件 修改
1:hadoop-env.sh 修改:
修改J***A_HOME目录
2:core-site.xml 修改
在其中增加两个属性,如下图:
3: hdfs-site.xml 修改
增加属性如下:
4:mapred-site.xml 修改
增加属性如下:
5:masters 修改
6:slaves 修改
六. 向各个结点复制 配置好的hadoop
运行 scp.sh 脚本 即可完成向各个结点的复制
scp.sh 脚本生成步骤:
【生产环境下hadoop集群配置之awk生成hadoop拷贝脚本】
七. 格式化并运行hadoop
1:格式化
2:启动hadoop
3: 查看运行进程
4:进入web ui 查看运行状态
50030 端口:
50070 端口 查看:
本文的环境搭建是: Mac OS 中利用virtualbox虚拟三台基于centos的服务器。如下图
IP 域名配置表如下:
主机名 | 别名 | IP地址 | 系统版本 | 角色 |
lhmaster | lhmaster.lihui.hadoop | 192.168.1.4 | Centos 6.3 | master |
lhslave01 | lhslave01.lihui.hadoop | 192.168.1.5 | Centos 6.3 | slave |
lhslave02 | lhslave02.lihui.hadoop | 192.168.1.6 | Centos 6.3 | slave |
集群部署涉及的软件包括: jdk ,ssh ,dns, nfs 和 hadoop-1.2.1
1.配置J***A,
Hadoop环境变量:
第一步:terminal中输入命令 vi /etc/profile
第二步:在编辑状态下加入如下的环境变量
#setJava environment
exportJ***A_HOME=/usr/java/jdk1.7.0_25
exportCLASSPATH=./:$J***A_HOME/lib:$J***A_HOME/lib/dt.jar:$J***A_HOME/lib/tools.jar
exportPATH=$PATH:$J***A_HOME/bin:$J***A_HOME
#sethadoop environment
exportHADOOP_HOME=/home/lihui/hadoop/hadoop-1.2.1
exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/conf
三.配置DNS服务器
说明:在生产的hadoop集群环境中,由于服务器可能会有许多台,通过配置DNS映射机器名,相比配置/etc/host方法,可以避免在每个节点都配置各自
的host文件,而且在新增节点时也不需要修改每个节点的/etc/host的主机名-IP映射文件。减少了配置步骤和时间,便于管理。
详细步骤见:
【生产环境下hadoop集群配置之DNS配置实验】
四. 配置NFS服务器进行SSH免密码登录
说明:通过NFS配置ssh免密码连入时,当我们有新的节点接入时,不再需要分别向其它节点各自添加自己公钥信息,只需要把公钥信息追加到共享的 authorized_keys公钥当中,其它节点就直接指向最新的公钥文件。便于分配公钥和管理。
详细步骤见:
【生产环境下hadoop集群配置之NFS配置实验】
五. hadoop 相关配置文件 修改
1:hadoop-env.sh 修改:
修改J***A_HOME目录
2:core-site.xml 修改
在其中增加两个属性,如下图:
3: hdfs-site.xml 修改
增加属性如下:
4:mapred-site.xml 修改
增加属性如下:
5:masters 修改
6:slaves 修改
六. 向各个结点复制 配置好的hadoop
运行 scp.sh 脚本 即可完成向各个结点的复制
scp.sh 脚本生成步骤:
【生产环境下hadoop集群配置之awk生成hadoop拷贝脚本】
七. 格式化并运行hadoop
1:格式化
2:启动hadoop
3: 查看运行进程
4:进入web ui 查看运行状态
50030 端口:
50070 端口 查看:
相关文章推荐
- 生产环境下hadoop集群配置之DNS配置实验
- 生产环境下Hadoop大集群安装与配置+DNS+NFS
- 正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置
- 生产环境下Hadoop大集群安装与配置+DNS+NFS
- 生产环境下Hadoop大集群安装与配置+DNS+NFS
- hadoop学习笔记之-生产环境Hadoop大集群配置安装
- 生产环境下部署hadoop集群(包括dns配置,nfs共享,awk资源分发)
- 生产环境下hadoop HA集群及Hbase HA集群配置
- 正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置
- 正式生产环境下hadoop集群的DNS+NFS+ssh免密码登陆配置
- 生产环境下hadoop集群配置之NFS配置实验
- 正式生产环境下hadoop集群的DNS+NFS+ssh免password登陆配置
- hadoop学习笔记之-生产环境Hadoop大集群配置安装
- 生产环境下hadoop集群配置之awk生成hadoop拷贝脚本
- 生产环境elasticsearch5.0.1集群的部署配置详解
- hadoop学习笔记<二>----hadoop集群环境的配置
- hadoop2.6.0集群环境配置
- 配置密码分布式集群环境hadoop、hbase、zookeeper搭建(全)
- Hadoop学习12-配置集群环境
- hadoop2集群安装和测试之环境配置