您的位置：首页 > 运维架构

Hadoop 三台主机 集群搭建 详解 <转>

2012-07-01 14:49 731 查看
部署环境：

OS：Redhat5.5Enterprise

JDK：jdk1.6.0_32

Hadoop：Hadoop-0.20.2

VMWare：7.0

节点安排及网络拓扑：

节点类型　　　　　　节点IP　　　　　　节点hostname

master节点　　　　192.168.40.5　　master

slave节点　　　　　192.168.40.5　　master(此时，master既是master节点，也是slave节点)

　　　　　　　　　　192.168.40.6　　salve1

　　　　　　　　　　192.168.40.7　　slave2

secondaryName节点192.168.40.5　　master(此时，master既是master节点，也是slave节点，也是secondaryNameNode)

配置步骤：

一、网络配置

首先关闭三台虚拟机的防火墙，步骤可参考：关闭防火墙

先用VMWare安装三台虚拟机（可以先安装一台，然后clone两台），按照节点安排及网络拓扑配置网络，先配置master节点的网络：

①静态网络IP配置见VMwareRedhat网络配置，分别将三台虚拟机的IP进行设置

②修改主机名：vi/etc/hosts(解析IP要用)，添加

192.168.40.5master
192.168.40.6slave1
192.168.40.7slave2

③按照此过程及相同数据(除了IP地址不同)对三台虚拟机进行配置

[b]二、安装jdk[/b]

Hadoop是用java开发的，Hadoop的编译及mapreduce的运行都需要使用JDK，所以JDK是必须安装的

①下载jdk，http://www.oracle.com/technetwork/java/javase/downloads/index.html

②在用户根目录下，建立bin文件夹：mkdir~/bin（也可放在其他处，个人习惯而已）

③改变执行权限：chmodu+xjdk-6u26-linux-i586.bin

④执行文件：sudo-s./jdk-6u26-linux-i586.bin，一路确定

⑤配置环境变量：vi~/.bash_profile,添加：

exportJAVA_HOME=/root/bin/jdk1.6.0_32
exportPATH=$PATH:$JAVA_HOME/bin

⑥使profile文件生效：source~/.bash_profile

⑦验证是否配置成功：whichjava

[root@master~]#whichjava
/root/bin/jdk1.6.0_32/bin/java配置生效。也可输入java-version,java,javac进一步确定

⑧分别相同配置另外两台主机

<JDKInstallationEnd>

三、建立ssh互信

hadoop需要通过ssh互信来启动slave里表中各个主机的守护进程，所以SSH是必须安装的（redhat5.5
Enterprise
以默认安装）。但是是否建立ssh互信（即无密码登陆）并不是必须的，但是如果不配置，每次启动hadoop，都需要输入密码以便登录到每台机器的
Datanode上，而一般的hadoop集群动辄数百或数千台机器，因此一般来说都会配置ssh互信。

①生成密钥并配置ssh无密码登陆主机(在master主机)

#ssh-keygen-tdsa-P''-f~/.ssh/id_dsa

root@ubuntu:~/.ssh#ssh-keygen-tdsa
Generatingpublic/privatedsakeypair.
Enterfileinwhichtosavethekey(/root/.ssh/id_dsa):/root/.ssh/id_dsa
Enterpassphrase(emptyfornopassphrase):（设置密码为空，直接回车）
Entersamepassphraseagain:
Youridentificationhasbeensavedin/root/.ssh/id_dsa.
Yourpublickeyhasbeensavedin/root/.ssh/id_dsa.pub.
Thekeyfingerprintis:
15:cd:dc:6c:1d:56:a3:82:3a:2a:e3:64:35:0b:dc:ccroot@ubuntu
Thekey'srandomartimageis:
+--[DSA1024]----+
|.+o=+|
|..+*o|
|...o|
|.+...|
|oEoS|
|o+.|
|=o|
|+o|
|.|
+-----------------+

cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys

②将authorized_keys文件拷贝到两台slave主机

scpauthorized_keysslave1:~/.ssh/

scpauthorized_keysslave2:~/.ssh/

③检查是否可以从master无密码登陆slave机

sshslave1(在master主机输入)登陆成功则配置成功，exit退出slave1返回master

四、配置Hadoop

①下载：点击到下载页面，选择hadoop-0.20.2.tar.gz

②放到~/bin下解压：tar-xzvfhadoop-0.20.2.tar.gz

③解压后进入：~/bin/hadoop-0.20.2/conf/，修改配置文件：

修改hadoop-env.sh:

exportJAVA_HOME=/root/bin/jdk1.6.0_32
转载注明出处：博客园石头儿http://www.cnblogs.com/shitouer/


hadoop-env.sh里面有这一行，默认是被注释的，只需要把注释去掉，并且把JAVA_HOME改成你的java安装目录即可

修改core-site.xml

<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<!--Putsite-specificpropertyoverridesinthisfile.-->

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>Hadoop.tmp.dir</name>
<value>/tmp/hadoop-root</value>
</property>
</configuration>

转载注明出处：博客园石头儿http://www.cnblogs.com/shitouer/


注释一：hadoop分布式文件系统文件存放位置都是基于hadoop.tmp.dir目录的，namenode的名字空间存放地方就是${hadoop.tmp.dir}/dfs/name,datanode数据块的存放地方就是${hadoop.tmp.dir}/dfs/data，所以设置好hadoop.tmp.dir目录后，其他的重要目录都是在这个目录下面，这是一个根目录。

注释二：fs.default.name,设置namenode所在主机，端口号是9000

注释三：core-site.xml对应有一个core-default.xml,hdfs-site.xml对应有一个hdfs-default.xml,mapred-site.xml对应有一个mapred-default.xml。这三个defalult文件里面都有一些默认配置，现在我们修改这三个site文件，目的就覆盖default里面的一些配置

修改hdfs-site.xml

<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<!--Putsite-specificpropertyoverridesinthisfile.-->

<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>

转载注明出处：博客园石头儿http://www.cnblogs.com/shitouer/


dfs.replication，设置数据块的复制次数，默认是3，如果slave节点数少于3，则写成相应的1或者2

修改mapred-site.xml

<?xmlversion="1.0"?>
<?xml-stylesheettype="text/xsl"href="configuration.xsl"?>

<!--Putsite-specificpropertyoverridesinthisfile.-->

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>http://master:9001</value>
</property>
</configuration>

转载注明出处：博客园石头儿http://www.cnblogs.com/shitouer/


mapred.job.tracker，设置jobtracker所在机器，端口号9001

修改masters

master

转载注明出处：博客园石头儿http://www.cnblogs.com/shitouer/


虽然masters内写的是master，但是个人感觉，这个并不是指定master节点，而是配置secondaryNameNode

修改slaves

master
slave1
slave2

转载注明出处：博客园石头儿http://www.cnblogs.com/shitouer/



配置了集群中所有slave节点

④添加hadoop环境变量，并source~/.bash_profile使之生效

exportJAVA_HOME=/root/bin/jdk1.6.0_32
exportHADOOP_HOME=/root/bin/hadoop-0.20.2
exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

转载注明出处：博客园石头儿http://www.cnblogs.com/shitouer/


⑤将已经配置好的hadoop-0.20.2，分别拷贝到另外两台主机，并做相同配置

⑥此时，hadoop的集群配置已经完成，输入hadoop，则可看到hadoop相关的操作

[root@master~]#hadoop
Usage:hadoop[--configconfdir]COMMAND
whereCOMMANDisoneof:
namenode-formatformattheDFSfilesystem
secondarynamenoderuntheDFSsecondarynamenode
namenoderuntheDFSnamenode
datanoderunaDFSdatanode
dfsadminrunaDFSadminclient
mradminrunaMap-Reduceadminclient
fsckrunaDFSfilesystemcheckingutility
fsrunagenericfilesystemuserclient
balancerrunaclusterbalancingutility
jobtrackerruntheMapReducejobTrackernode
pipesrunaPipesjob
tasktrackerrunaMapReducetaskTrackernode
jobmanipulateMapReducejobs
queuegetinformationregardingJobQueues
versionprinttheversion
jar<jar>runajarfile
distcp<srcurl><desturl>copyfileordirectoriesrecursively
archive-archiveNameNAME<src>*<dest>createahadooparchive
daemonlogget/settheloglevelforeachdaemon
or
CLASSNAMEruntheclassnamedCLASSNAME
Mostcommandsprinthelpwheninvokedw/oparameters.

转载注明出处：博客园石头儿http://www.cnblogs.com/shitouer/


⑦此时，首先格式化hadoop

在命令行里执行，hadoopnamenode-format

⑧启动hadoop

在命令行里执行，start-all.sh，或者执行start-dfs.sh,再执行start-mapred.sh

⑨输入jps，查看启动的服务进程

master节点：
[root@master~]#jps
25429SecondaryNameNode
25500JobTracker
25201NameNode
25328DataNode
18474Jps
25601TaskTracker

转载注明出处：博客园石头儿http://www.cnblogs.com/shitouer/


slave节点：
[root@slave1~]#jps
4469TaskTracker
4388DataNode
29622Jps

转载注明出处：博客园石头儿http://www.cnblogs.com/shitouer/


如上显示，则说明相应的服务进程都启动成功了。

圈10(额，像①一样的圈出不来了(⊙o⊙))查看hdfs分布式文件系统的文件目录结构

hadoopfs-ls/

转载注明出处：博客园石头儿http://www.cnblogs.com/shitouer/


此时发现为空，因为确实什么也没有，运行一下命令，则可创建一个文件夹：

hadoopfs-mkdir/newDir

转载注明出处：博客园石头儿http://www.cnblogs.com/shitouer/


再次执行hadoopfs-ls/，则会看到newDir文件夹，关于hadoopfs命令，参见：HDFS命令

圈11运行hadoop类似helloworld的程序

本来，都是以wordcount来运行的，但是还得建文件夹之类的，有一个更简单的，就是example中的计算π值的程序，我们来计算一下，进入hadoop目录，运行如下：

[root@slave1hadoop-0.20.2]#hadoopjarhadoop-0.20.2-examples.jarpi42
NumberofMaps=4
SamplesperMap=2
WroteinputforMap#0
WroteinputforMap#1
WroteinputforMap#2
WroteinputforMap#3
StartingJob
12/05/2009:45:19INFOmapred.FileInputFormat:Totalinputpathstoprocess:4
12/05/2009:45:19INFOmapred.JobClient:Runningjob:job_201205190417_0005
12/05/2009:45:20INFOmapred.JobClient:map0%reduce0%
12/05/2009:45:30INFOmapred.JobClient:map50%reduce0%
12/05/2009:45:31INFOmapred.JobClient:map100%reduce0%
12/05/2009:45:45INFOmapred.JobClient:map100%reduce100%
12/05/2009:45:47INFOmapred.JobClient:Jobcomplete:job_201205190417_0005
12/05/2009:45:47INFOmapred.JobClient:Counters:18
12/05/2009:45:47INFOmapred.JobClient:JobCounters
12/05/2009:45:47INFOmapred.JobClient:Launchedreducetasks=1
12/05/2009:45:47INFOmapred.JobClient:Launchedmaptasks=4
12/05/2009:45:47INFOmapred.JobClient:Data-localmaptasks=4
12/05/2009:45:47INFOmapred.JobClient:FileSystemCounters
12/05/2009:45:47INFOmapred.JobClient:FILE_BYTES_READ=94
12/05/2009:45:47INFOmapred.JobClient:HDFS_BYTES_READ=472
12/05/2009:45:47INFOmapred.JobClient:FILE_BYTES_WRITTEN=334
12/05/2009:45:47INFOmapred.JobClient:HDFS_BYTES_WRITTEN=215
12/05/2009:45:47INFOmapred.JobClient:Map-ReduceFramework
12/05/2009:45:47INFOmapred.JobClient:Reduceinputgroups=8
12/05/2009:45:47INFOmapred.JobClient:Combineoutputrecords=0
12/05/2009:45:47INFOmapred.JobClient:Mapinputrecords=4
12/05/2009:45:47INFOmapred.JobClient:Reduceshufflebytes=112
12/05/2009:45:47INFOmapred.JobClient:Reduceoutputrecords=0
12/05/2009:45:47INFOmapred.JobClient:SpilledRecords=16
12/05/2009:45:47INFOmapred.JobClient:Mapoutputbytes=72
12/05/2009:45:47INFOmapred.JobClient:Mapinputbytes=96
12/05/2009:45:47INFOmapred.JobClient:Combineinputrecords=0
12/05/2009:45:47INFOmapred.JobClient:Mapoutputrecords=8
12/05/2009:45:47INFOmapred.JobClient:Reduceinputrecords=8
JobFinishedin28.952seconds
EstimatedvalueofPiis3.50000000000000000000

转载注明出处：博客园石头儿http://www.cnblogs.com/shitouer/


计算PI值为3.5，还算靠近，至于输出log日志，就不介绍了，以后学的稍微深入，可多做了解。

Hadoop三节点集群的配置就介绍到这里，接下来，会介绍一下如何在windows中远程连接hadoop，并配置eclipse来进行MapReduce的开发和调试。

本文打算写成一个系列，从集群搭建，到windows中远程连接开发调试，再到源码的阅读和分析，立此存照，必须说到做到。

转载注明出处：博客园石头儿http://www.cnblogs.com/shitouer/

系列文章：

1.VMwareRedhat网络配置

2.Hadoop三台主机集群搭建详解

3.Windows下配置Eclipse连接Hadoop开发环境

文章来源
                                            

                                        

                        
                        内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息 
                    

                    

                    

                        

                         标签： 
                                                

                        

                    


                

            


            

                
相关文章推荐

                

                
            

        

        

            

            
            

                

                    
新的分享

                    

                        
                    

                

            


            

                

                    
章节导航