Hadoop 三台主机 集群搭建 详解
2012-10-11 22:11
495 查看
部署环境:
OS:Redhat5.5Enterprise
JDK:jdk1.6.0_32
Hadoop:Hadoop-0.20.2
VMWare:7.0
节点安排及网络拓扑:
节点类型 节点IP 节点hostname
master节点 192.168.40.5 master
slave节点 192.168.40.5 master(此时,master既是master节点,也是slave节点)
192.168.40.6 salve1
192.168.40.7 slave2
secondaryName节点192.168.40.5 master(此时,master既是master节点,也是slave节点,也是secondaryNameNode)
配置步骤:
一、网络配置
首先关闭三台虚拟机的防火墙,步骤可参考:关闭防火墙
先用VMWare安装三台虚拟机(可以先安装一台,然后clone两台),按照节点安排及网络拓扑配置网络,先配置master节点的网络:
①静态网络IP配置见VMwareRedhat网络配置,分别将三台虚拟机的IP进行设置
②修改主机名:vi/etc/hosts(解析IP要用),添加
192.168.40.5master
192.168.40.6slave1
192.168.40.7slave2
③按照此过程及相同数据(除了IP地址不同)对三台虚拟机进行配置
[b]二、安装jdk[/b]
Hadoop是用java开发的,Hadoop的编译及mapreduce的运行都需要使用JDK,所以JDK是必须安装的
①下载jdk,http://www.oracle.com/technetwork/java/javase/downloads/index.html
②在用户根目录下,建立bin文件夹:mkdir~/bin(也可放在其他处,个人习惯而已)
③改变执行权限:chmodu+xjdk-6u26-linux-i586.bin
④执行文件:sudo-s./jdk-6u26-linux-i586.bin,一路确定
⑤配置环境变量:vi~/.bash_profile,添加:
exportJAVA_HOME=/root/bin/jdk1.6.0_32
exportPATH=$PATH:$JAVA_HOME/bin
⑥使profile文件生效:source~/.bash_profile
⑦验证是否配置成功:whichjava
[root@master~]#whichjava
/root/bin/jdk1.6.0_32/bin/java配置生效。也可输入java-version,java,javac进一步确定
⑧分别相同配置另外两台主机
<JDKInstallationEnd>
三、建立ssh互信
hadoop需要通过ssh互信来启动slave里表中各个主机的守护进程,所以SSH是必须安装的(redhat5.5Enterprise以默认安装)。但是是否建立ssh互信(即无密码登陆)并不是必须的,但是如果不配置,每次启动hadoop,都需要输入密码以便登录到每台机器的Datanode上,而一般的hadoop集群动辄数百或数千台机器,因此一般来说都会配置ssh互信。
①生成密钥并配置ssh无密码登陆主机(在master主机)
ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
②将authorized_keys文件拷贝到两台slave主机
scpauthorized_keysslave1:~/.ssh/
scpauthorized_keysslave2:~/.ssh/
③检查是否可以从master无密码登陆slave机
sshslave1(在master主机输入)登陆成功则配置成功,exit退出slave1返回master
四、配置Hadoop
①下载:点击到下载页面,选择hadoop-0.20.2.tar.gz
②放到~/bin下解压:tar-xzvfhadoop-0.20.2.tar.gz
③解压后进入:~/bin/hadoop-0.20.2/conf/,修改配置文件:
修改hadoop-env.sh:
hadoop-env.sh里面有这一行,默认是被注释的,只需要把注释去掉,并且把JAVA_HOME改成你的java安装目录即可
修改core-site.xml
注释一:hadoop分布式文件系统文件存放位置都是基于hadoop.tmp.dir目录的,namenode的名字空间存放地方就是${hadoop.tmp.dir}/dfs/name,datanode数据块的存放地方就是${hadoop.tmp.dir}/dfs/data,所以设置好hadoop.tmp.dir目录后,其他的重要目录都是在这个目录下面,这是一个根目录。
注释二:fs.default.name,设置namenode所在主机,端口号是9000
注释三:core-site.xml对应有一个core-default.xml,hdfs-site.xml对应有一个hdfs-default.xml,mapred-site.xml对应有一个mapred-default.xml。这三个defalult文件里面都有一些默认配置,现在我们修改这三个site文件,目的就覆盖default里面的一些配置
修改hdfs-site.xml
dfs.replication,设置数据块的复制次数,默认是3,如果slave节点数少于3,则写成相应的1或者2
修改mapred-site.xml
mapred.job.tracker,设置jobtracker所在机器,端口号9001
修改masters
虽然masters内写的是master,但是个人感觉,这个并不是指定master节点,而是配置secondaryNameNode
修改slaves
配置了集群中所有slave节点
④添加hadoop环境变量,并source~/.bash_profile使之生效
⑤将已经配置好的hadoop-0.20.2,分别拷贝到另外两台主机,并做相同配置
⑥此时,hadoop的集群配置已经完成,输入hadoop,则可看到hadoop相关的操作
⑦此时,首先格式化hadoop
在命令行里执行,hadoopnamenode-format
⑧启动hadoop
在命令行里执行,start-all.sh,或者执行start-dfs.sh,再执行start-mapred.sh
⑨输入jps,查看启动的服务进程
如上显示,则说明相应的服务进程都启动成功了。
圈10(额,像①一样的圈出不来了(⊙o⊙))查看hdfs分布式文件系统的文件目录结构
此时发现为空,因为确实什么也没有,运行一下命令,则可创建一个文件夹:
再次执行hadoopfs-ls/,则会看到newDir文件夹,关于hadoopfs命令,参见:HDFS命令
圈11运行hadoop类似helloworld的程序
本来,都是以wordcount来运行的,但是还得建文件夹之类的,有一个更简单的,就是example中的计算π值的程序,我们来计算一下,进入hadoop目录,运行如下:
计算PI值为3.5,还算靠近,至于输出log日志,就不介绍了,以后学的稍微深入,可多做了解。
Hadoop三节点集群的配置就介绍到这里,接下来,会介绍一下如何在windows中远程连接hadoop,并配置eclipse来进行MapReduce的开发和调试。
本文打算写成一个系列,从集群搭建,到windows中远程连接开发调试,再到源码的阅读和分析,立此存照,必须说到做到。
转载注明出处:博客园石头儿http://www.cnblogs.com/shitouer/
系列文章:
1.VMwareRedhat网络配置
2.Hadoop三台主机集群搭建详解
3.Windows下配置Eclipse连接Hadoop开发环境
OS:Redhat5.5Enterprise
JDK:jdk1.6.0_32
Hadoop:Hadoop-0.20.2
VMWare:7.0
节点安排及网络拓扑:
节点类型 节点IP 节点hostname
master节点 192.168.40.5 master
slave节点 192.168.40.5 master(此时,master既是master节点,也是slave节点)
192.168.40.6 salve1
192.168.40.7 slave2
secondaryName节点192.168.40.5 master(此时,master既是master节点,也是slave节点,也是secondaryNameNode)
配置步骤:
一、网络配置
首先关闭三台虚拟机的防火墙,步骤可参考:
先用VMWare安装三台虚拟机(可以先安装一台,然后clone两台),按照节点安排及网络拓扑配置网络,先配置master节点的网络:
①静态网络IP配置见
②修改主机名:vi/etc/hosts(解析IP要用),添加
192.168.40.5master
192.168.40.6slave1
192.168.40.7slave2
③按照此过程及相同数据(除了IP地址不同)对三台虚拟机进行配置
[b]二、安装jdk[/b]
Hadoop是用java开发的,Hadoop的编译及mapreduce的运行都需要使用JDK,所以JDK是必须安装的
①下载jdk,http://www.oracle.com/technetwork/java/javase/downloads/index.html
②在用户根目录下,建立bin文件夹:mkdir~/bin(也可放在其他处,个人习惯而已)
③改变执行权限:chmodu+xjdk-6u26-linux-i586.bin
④执行文件:sudo-s./jdk-6u26-linux-i586.bin,一路确定
⑤配置环境变量:vi~/.bash_profile,添加:
exportJAVA_HOME=/root/bin/jdk1.6.0_32
exportPATH=$PATH:$JAVA_HOME/bin
⑥使profile文件生效:source~/.bash_profile
⑦验证是否配置成功:whichjava
[root@master~]#whichjava
/root/bin/jdk1.6.0_32/bin/java配置生效。也可输入java-version,java,javac进一步确定
⑧分别相同配置另外两台主机
<JDKInstallationEnd>
三、建立ssh互信
hadoop需要通过ssh互信来启动slave里表中各个主机的守护进程,所以SSH是必须安装的(redhat5.5Enterprise以默认安装)。但是是否建立ssh互信(即无密码登陆)并不是必须的,但是如果不配置,每次启动hadoop,都需要输入密码以便登录到每台机器的Datanode上,而一般的hadoop集群动辄数百或数千台机器,因此一般来说都会配置ssh互信。
①生成密钥并配置ssh无密码登陆主机(在master主机)
ssh-keygen-tdsa-P''-f~/.ssh/id_dsa
cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys
②将authorized_keys文件拷贝到两台slave主机
scpauthorized_keysslave1:~/.ssh/
scpauthorized_keysslave2:~/.ssh/
③检查是否可以从master无密码登陆slave机
sshslave1(在master主机输入)登陆成功则配置成功,exit退出slave1返回master
四、配置Hadoop
①下载:
②放到~/bin下解压:tar-xzvfhadoop-0.20.2.tar.gz
③解压后进入:~/bin/hadoop-0.20.2/conf/,修改配置文件:
修改hadoop-env.sh:
exportJAVA_HOME=/root/bin/jdk1.6.0_32 转载注明出处:博客园石头儿http://www.cnblogs.com/shitouer/
hadoop-env.sh里面有这一行,默认是被注释的,只需要把注释去掉,并且把JAVA_HOME改成你的java安装目录即可
修改core-site.xml
<?xmlversion="1.0"?> <?xml-stylesheettype="text/xsl"href="configuration.xsl"?> <!--Putsite-specificpropertyoverridesinthisfile.--> <configuration> <property> <name>fs.default.name</name> <value>hdfs://master:9000</value> </property> <property> <name>Hadoop.tmp.dir</name> <value>/tmp/hadoop-root</value> </property> </configuration>
转载注明出处:博客园石头儿http://www.cnblogs.com/shitouer/
注释一:hadoop分布式文件系统文件存放位置都是基于hadoop.tmp.dir目录的,namenode的名字空间存放地方就是${hadoop.tmp.dir}/dfs/name,datanode数据块的存放地方就是${hadoop.tmp.dir}/dfs/data,所以设置好hadoop.tmp.dir目录后,其他的重要目录都是在这个目录下面,这是一个根目录。
注释二:fs.default.name,设置namenode所在主机,端口号是9000
注释三:core-site.xml对应有一个core-default.xml,hdfs-site.xml对应有一个hdfs-default.xml,mapred-site.xml对应有一个mapred-default.xml。这三个defalult文件里面都有一些默认配置,现在我们修改这三个site文件,目的就覆盖default里面的一些配置
修改hdfs-site.xml
<?xmlversion="1.0"?> <?xml-stylesheettype="text/xsl"href="configuration.xsl"?> <!--Putsite-specificpropertyoverridesinthisfile.--> <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration>
转载注明出处:博客园石头儿http://www.cnblogs.com/shitouer/
dfs.replication,设置数据块的复制次数,默认是3,如果slave节点数少于3,则写成相应的1或者2
修改mapred-site.xml
<?xmlversion="1.0"?> <?xml-stylesheettype="text/xsl"href="configuration.xsl"?> <!--Putsite-specificpropertyoverridesinthisfile.--> <configuration> <property> <name>mapred.job.tracker</name> <value>http://master:9001</value> </property> </configuration>
转载注明出处:博客园石头儿http://www.cnblogs.com/shitouer/
mapred.job.tracker,设置jobtracker所在机器,端口号9001
修改masters
master
转载注明出处:博客园石头儿http://www.cnblogs.com/shitouer/
虽然masters内写的是master,但是个人感觉,这个并不是指定master节点,而是配置secondaryNameNode
修改slaves
master slave1 slave2
转载注明出处:博客园石头儿http://www.cnblogs.com/shitouer/
配置了集群中所有slave节点
④添加hadoop环境变量,并source~/.bash_profile使之生效
exportJAVA_HOME=/root/bin/jdk1.6.0_32
exportHADOOP_HOME=/root/bin/hadoop-0.20.2
exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
转载注明出处:博客园石头儿http://www.cnblogs.com/shitouer/
⑤将已经配置好的hadoop-0.20.2,分别拷贝到另外两台主机,并做相同配置
⑥此时,hadoop的集群配置已经完成,输入hadoop,则可看到hadoop相关的操作
[root@master~]#hadoop
Usage:hadoop[--configconfdir]COMMAND
whereCOMMANDisoneof:
namenode-formatformattheDFSfilesystem
secondarynamenoderuntheDFSsecondarynamenode
namenoderuntheDFSnamenode
datanoderunaDFSdatanode
dfsadminrunaDFSadminclient
mradminrunaMap-Reduceadminclient
fsckrunaDFSfilesystemcheckingutility
fsrunagenericfilesystemuserclient
balancerrunaclusterbalancingutility
jobtrackerruntheMapReducejobTrackernode
pipesrunaPipesjob
tasktrackerrunaMapReducetaskTrackernode
jobmanipulateMapReducejobs
queuegetinformationregardingJobQueues
versionprinttheversion
jar<jar>runajarfile
distcp<srcurl><desturl>copyfileordirectoriesrecursively
archive-archiveNameNAME<src>*<dest>createahadooparchive
daemonlogget/settheloglevelforeachdaemon
or
CLASSNAMEruntheclassnamedCLASSNAME
Mostcommandsprinthelpwheninvokedw/oparameters.
转载注明出处:博客园石头儿http://www.cnblogs.com/shitouer/
⑦此时,首先格式化hadoop
在命令行里执行,hadoopnamenode-format
⑧启动hadoop
在命令行里执行,start-all.sh,或者执行start-dfs.sh,再执行start-mapred.sh
⑨输入jps,查看启动的服务进程
master节点:
[root@master~]#jps
25429SecondaryNameNode
25500JobTracker
25201NameNode
25328DataNode
18474Jps
25601TaskTracker
转载注明出处:博客园石头儿http://www.cnblogs.com/shitouer/
slave节点:
[root@slave1~]#jps
4469TaskTracker
4388DataNode
29622Jps
转载注明出处:博客园石头儿http://www.cnblogs.com/shitouer/
如上显示,则说明相应的服务进程都启动成功了。
圈10(额,像①一样的圈出不来了(⊙o⊙))查看hdfs分布式文件系统的文件目录结构
hadoopfs-ls/
转载注明出处:博客园石头儿http://www.cnblogs.com/shitouer/
此时发现为空,因为确实什么也没有,运行一下命令,则可创建一个文件夹:
hadoopfs-mkdir/newDir
转载注明出处:博客园石头儿http://www.cnblogs.com/shitouer/
再次执行hadoopfs-ls/,则会看到newDir文件夹,关于hadoopfs命令,参见:
圈11运行hadoop类似helloworld的程序
本来,都是以wordcount来运行的,但是还得建文件夹之类的,有一个更简单的,就是example中的计算π值的程序,我们来计算一下,进入hadoop目录,运行如下:
[root@slave1hadoop-0.20.2]#hadoopjarhadoop-0.20.2-examples.jarpi42
NumberofMaps=4
SamplesperMap=2
WroteinputforMap#0
WroteinputforMap#1
WroteinputforMap#2
WroteinputforMap#3
StartingJob
12/05/2009:45:19INFOmapred.FileInputFormat:Totalinputpathstoprocess:4
12/05/2009:45:19INFOmapred.JobClient:Runningjob:job_201205190417_0005
12/05/2009:45:20INFOmapred.JobClient:map0%reduce0%
12/05/2009:45:30INFOmapred.JobClient:map50%reduce0%
12/05/2009:45:31INFOmapred.JobClient:map100%reduce0%
12/05/2009:45:45INFOmapred.JobClient:map100%reduce100%
12/05/2009:45:47INFOmapred.JobClient:Jobcomplete:job_201205190417_0005
12/05/2009:45:47INFOmapred.JobClient:Counters:18
12/05/2009:45:47INFOmapred.JobClient:JobCounters
12/05/2009:45:47INFOmapred.JobClient:Launchedreducetasks=1
12/05/2009:45:47INFOmapred.JobClient:Launchedmaptasks=4
12/05/2009:45:47INFOmapred.JobClient:Data-localmaptasks=4
12/05/2009:45:47INFOmapred.JobClient:FileSystemCounters
12/05/2009:45:47INFOmapred.JobClient:FILE_BYTES_READ=94
12/05/2009:45:47INFOmapred.JobClient:HDFS_BYTES_READ=472
12/05/2009:45:47INFOmapred.JobClient:FILE_BYTES_WRITTEN=334
12/05/2009:45:47INFOmapred.JobClient:HDFS_BYTES_WRITTEN=215
12/05/2009:45:47INFOmapred.JobClient:Map-ReduceFramework
12/05/2009:45:47INFOmapred.JobClient:Reduceinputgroups=8
12/05/2009:45:47INFOmapred.JobClient:Combineoutputrecords=0
12/05/2009:45:47INFOmapred.JobClient:Mapinputrecords=4
12/05/2009:45:47INFOmapred.JobClient:Reduceshufflebytes=112
12/05/2009:45:47INFOmapred.JobClient:Reduceoutputrecords=0
12/05/2009:45:47INFOmapred.JobClient:SpilledRecords=16
12/05/2009:45:47INFOmapred.JobClient:Mapoutputbytes=72
12/05/2009:45:47INFOmapred.JobClient:Mapinputbytes=96
12/05/2009:45:47INFOmapred.JobClient:Combineinputrecords=0
12/05/2009:45:47INFOmapred.JobClient:Mapoutputrecords=8
12/05/2009:45:47INFOmapred.JobClient:Reduceinputrecords=8
JobFinishedin28.952seconds
EstimatedvalueofPiis3.50000000000000000000
转载注明出处:博客园石头儿http://www.cnblogs.com/shitouer/
计算PI值为3.5,还算靠近,至于输出log日志,就不介绍了,以后学的稍微深入,可多做了解。
Hadoop三节点集群的配置就介绍到这里,接下来,会介绍一下如何在windows中远程连接hadoop,并配置eclipse来进行MapReduce的开发和调试。
本文打算写成一个系列,从集群搭建,到windows中远程连接开发调试,再到源码的阅读和分析,立此存照,必须说到做到。
转载注明出处:博客园石头儿
系列文章:
1.
2.
3.
相关文章推荐
- Hadoop 三台主机 集群搭建 详解 &lt;转&gt;
- Hadoop 三台主机 集群搭建 详解
- Hadoop 三台主机 集群搭建 详解(测试)
- Hadoop 三台主机 集群搭建 详解
- Hadoop 三台主机 集群搭建 详解
- Hadoop 三台主机 集群搭建 详解 <转>
- Hadoop2.7.2集群搭建详解(三台)
- Hadoop2.7.2集群搭建详解(三台)集群规划
- Time的hadoop学习笔记之--搭建有三台主机的Hadoop集群
- Hadoop2.7.2集群搭建详解(三台)
- Hadoop2.7.2集群搭建详解(三台)
- Hadoop2.7.2集群搭建详解(三台)
- hadoop集群搭建-三台主机
- 详解使用docker 1.12 搭建多主机docker swarm集群
- Hadoop全分布集群搭建(1)——设置主机名与域名解析
- vmware10上三台虚拟机的Hadoop2.2.0集群搭建
- 详解搭建ubuntu版hadoop集群
- Hadoop2.7.2之集群搭建(三台)
- linux hadoop完全分布式集群搭建图文详解
- 求解:基于docker搭建跨主机hadoop集群遇到的问题