从零开始搭建hadoop分布式集群环境:(五)hadoop完全分布式集群环境配置
2015-07-24 13:53
831 查看
hadoop集群安装需要一些准备工作,例如安装Java、ssh、下载hadoop等等,这些在之前的文章里面以及现详细说过了。下面就只剩最后一步,也就是配置hadoop。在这一步的过程中我参考过很多文档,但是大部分文章都写得不是很详细,导致配置完成后出现各种问题,要么是hdfs格式化失败,要么是运行后缺少进程。偶然情况下在about云论坛上看到了pig2写的一系列教程,才真正理解了hadoop集群的配置。这些教程真正做到了授人以渔,因此在这里我就转载她的文章给大家参考学习。
以下部分为转载部分:
源自about云论坛
http://www.aboutyun.com/
博主 pig2
博客地址 http://www.aboutyun.com/home.php?mod=space&uid=61&do=index
还是一个漂亮的妹子~哈哈!
正常情况下,安装之后,我们看到的进程
master会看到下面进程
slave会看到下面进程
上面进程是否是固定的,无论你是ubuntu还是centos,还是其它系统,都是这些进程。
##############################################################
配置文件
hadoop配置有两种类型重要配置文件:
一种只读默认配置文件
core-default.xml, hdfs-default.xml, yarn-default.xml and mapred-default.xml.
一种Site-specific 配置文件
etc/hadoop/core-site.xml, etc/hadoop/hdfs-site.xml, etc/hadoop/yarn-site.xml and etc/hadoop/mapred-site.xml.
额外,你可以控制hadoop脚本,在bin/目录下,通过 etc/hadoop/hadoop-env.sh 和 etc/hadoop/yarn-env.sh.设置特性的值
HDFS 守护进程是 NameNode, SecondaryNameNode, and DataNode. YARN 守护进程是 ResourceManager, NodeManager, 和 WebAppProxy.如果使用MapReduce, 可以启用Job
4000
History Server.如果集群比较大,通常是在单独的主机上运行。
#########################################################
我们知道了各种配置文件,守护进程,那么剩下的就是对他们具体的配置。
这个配置我们是可以定制的,所以只要是hadoop2.x文档对于其他版本的文档,如果不是当前版本的新特性。所有的完全分布是文档都是可以通用的。
也就是说当前最新版本hadoop2.7,如果安装过以前hadoop2.2或则其他版本,那么集群的安装都是通用的。
hadoop(2.x)以hadoop2.2为例完全分布式最新高可靠安装文档
首先说一下这个安装过程需要注意的地方
一、使用新建用户可能会遇到的问题
(1)权限问题:对于新手经常使用root,刚开始可以使用,但是如果想真正的学习,必须学会使用其他用户。也就是你需要学会新建用户,但是新建用户,并不是所有人都会的。具体可以参考ubuntu创建新用户并增加管理员权限,这里面使用adduser是最方便的。也就是说你需要通过这里,学会给Linux添加用户,并且赋权,上面那篇文章会对你有所帮助。
(2)使用新建用户,你遇到另外一个问题,就是文件所属权限,因为新建的文件,有的属于root用户,有的属于新建用户,例如下面情况,我们看到mv.sh是属于root用户,大部分属于aboutyun用户。所以当我们两个不同文件不能访问的时候,这个可能是原因之一。也是在这里,当你新建用户的时候,可能会遇到的新问题。
(3)上面我们只是提出了问题,但是根本没有解决方案,这里在提出解决方案,我们如何改变文件所属用户。
比如上图中,mv.sh属于root用户,那么我们怎么让他所属about云用户。可以是下面命令:
sudo chown -R aboutyun:aboutyun mv.sh
解释一下上面命令的含义:
------------------------------------------------------------------------------------------------------------------------------------------------------
1.sudo:如果不是root用户,不带上这个命令会经常遇到麻烦,所以需要养成习惯。至于sudo详细解释可以看下面。
sudo是linux系统管理指令,是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具,如halt,reboot,su等等。这样不仅减少了root用户的登录 和管理时间,同样也提高了安全性。sudo不是对shell的一个代替,它是面向每个命令的。
2.chown-》change own的意思。即改变所属文件。对于他不了解的同学,可以查看:让你真正了解chmod和chown命令的用法
3.aboutyun:aboutyun代表aboutyun用户及aboutyun用户组
4.即是被授权的文件
(下载包为hadoop2.2)
下载完毕,我们就需要解压
tar zxvf hadoop-2.2.0_x64.tar.gz
这里是解压到当前路径。
这里就开始动手了,下面也介绍一下整体的情况:
1、这里我们搭建一个由三台机器组成的集群:
172.16.77.15 aboutyun/123456 master
172.16.77.16 aboutyun/123456 slave1
172.16.77.17 aboutyun/123456 slave1
1.1 上面各列分别为IP、user/passwd、hostname
一、需要注意的问题
hadoop2.2的配置还是比较简单的,但是可能会遇到各种各样的问题。最常讲的就是看不到进程。
看不到进程大致有两个原因:
1.你的配置文件有问题。
对于配置文件,主机名,空格之类的这些都不要带上。仔细检查
2.Linux的权限不正确。
最常出问题的是core-site.xml,与hdfs-site.xml。
core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/aboutyun/tmp</value>
<description>Abase forother temporary directories.</description>
</property>
说一下上面参数的含义,这里是hadoop的临时文件目录,file的含义是使用本地目录。也就是使用的是Linux的目录,一定确保下面目录
/home/aboutyun/tmp
的权限所属为你创建的用户。并且这里面我也要会变通,aboutyun,为我创建的用户名,如果你创建了zhangsan或则lisi,那么这个目录就会变为
/home/zhangsan/tmp
这里不熟悉,是因为对Linux的不熟悉的原因。这里在来张图:
注意:1和2对比。如果你所创建的tmp属于root,那么你会看不到进程。
[align=left]hdfs-site.xml[/align]
同样也是:要注意下面,你是需要改成自己的用户名的
[align=left] <property>[/align]
[align=left] <name>dfs.namenode.name.dir</name>[/align]
[align=left] <value>file:/home/aboutyun/dfs/name</value>[/align]
[align=left] </property>[/align]
[align=left] <property>[/align]
[align=left] <name>dfs.datanode.data.dir</name>[/align]
[align=left] <value>file:/home/aboutyun/dfs/data</value>[/align]
[align=left] </property>[/align]
上面讲完,我们开始配置
hadoop集群中每个机器上面的配置基本相同,所以我们先在master上面进行配置部署,然后再复制到其他节点。所以这里的安装过程相当于在每台机器上面都要执行。
【注意】:master和slaves安装的hadoop路径要完全一样,用户和组也要完全一致
1、 解压文件
将第一部分中下载的
tar zxvf hadoop-2.2.0_x64.tar.gz
mv hadoop-2.2.0 hadoop
解压到/usr路径下
并且重命名,效果如下
2、 hadoop配置过程
配置之前,需要在master本地文件系统创建以下文件夹:
~/dfs/name
~/dfs/data
~/tmp
这里文件权限:创建完毕,你会看到红线部分,注意所属用户及用户组。如果不再新建的用户组下面,可以使用下面命令来修改:让你真正了解chmod和chown命令的用法
这里要涉及到的配置文件有7个:
~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh
~/hadoop-2.2.0/etc/hadoop/yarn-env.sh
~/hadoop-2.2.0/etc/hadoop/slaves
~/hadoop-2.2.0/etc/hadoop/core-site.xml
~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml
~/hadoop-2.2.0/etc/hadoop/mapred-site.xml
~/hadoop-2.2.0/etc/hadoop/yarn-site.xml
以上文件默认不存在的,可以复制相应的template文件获得。下面举例:
配置文件1:hadoop-env.sh
修改JAVA_HOME值(export JAVA_HOME=/usr/jdk1.7)
配置文件2:yarn-env.sh
修改JAVA_HOME值(export JAVA_HOME=/usr/jdk1.7)
配置文件3:slaves (这个文件里面保存所有slave节点)
写入以下内容:
配置文件4:core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/aboutyun/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>hadoop.proxyuser.aboutyun.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.aboutyun.groups</name>
<value>*</value>
</property>
</configuration>
配置文件5:hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/aboutyun/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/aboutyun/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
配置文件6:mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
配置文件7:yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
3、复制到其他节点
上面配置完毕,我们基本上完成了90%了剩下就是复制。我们可以把整个hadoop复制过去:使用如下命令:
sudo
scp -r /usr/hadoop aboutyun@slave1:~/
这里记得先复制到home/aboutyun下面,然后在转移到/usr下面。
后面我们会经常遇到问题,经常修改配置文件,所以修改完一个配置文件后,其他节点都需要修改,这里附上脚本操作方便:
一、节点之间传递数据:
第一步:vi scp.sh
第二步:把下面内容放到里面(记得修改下面红字部分,改成自己的)
#!/bin/bash
#slave1
scp /usr/hadoop/etc/hadoop/core-site.xml aboutyun@slave1:~/
scp /usr/hadoop/etc/hadoop/hdfs-site.xml aboutyun@slave1:~/
#slave2
scp /usr/hadoop/etc/hadoop/core-site.xml aboutyun@slave2:~/
scp /usr/hadoop/etc/hadoop/hdfs-site.xml aboutyun@slave2:~/
第三步:保存scp.sh
第四步:bash scp.sh执行
二、移动文件夹:
可以自己写了。
4.配置环境变量
第一步:
vi /etc/environment
第二步:添加如下内容:记得如果你的路径改变了,你也许需要做相应的改变。
4、启动验证
4.1 启动hadoop
格式化namenode:
hdfs
namenode –format
或则使用下面命令:
hadoop
namenode format
启动hdfs:
start-dfs.sh
此时在master上面运行的进程有:
namenode
secondarynamenode
slave节点上面运行的进程有:datanode
启动yarn:
start-yarn.sh
我们看到如下效果:
master有如下进程:
slave1有如下进程
此时hadoop集群已全部配置完成!!!
【注意】:而且所有的配置文件<name>和<value>节点处不要有空格,否则会报错!
然后我们输入:(这里有的同学没有配置hosts,所以输出master访问不到,如果访问不到输入ip地址即可)
以上全部都为转载,我最后弄的时候基本上都是按这个来弄的。但我的是在hadoop用户下安装的hadoop2.6.0,除了路径不一样,其他的也都是一致的。基本上按这个来都没问题。感谢这位美女大神~授人以鱼不如授人以渔!
以下部分为转载部分:
源自about云论坛
http://www.aboutyun.com/
博主 pig2
博客地址 http://www.aboutyun.com/home.php?mod=space&uid=61&do=index
还是一个漂亮的妹子~哈哈!
hadoop(1.X、2.X)2.7各个版本操作系统各个版本完全分布是集群配置说明
正常情况下,安装之后,我们看到的进程master会看到下面进程
slave会看到下面进程
上面进程是否是固定的,无论你是ubuntu还是centos,还是其它系统,都是这些进程。
##############################################################
配置文件
hadoop配置有两种类型重要配置文件:
一种只读默认配置文件
core-default.xml, hdfs-default.xml, yarn-default.xml and mapred-default.xml.
一种Site-specific 配置文件
etc/hadoop/core-site.xml, etc/hadoop/hdfs-site.xml, etc/hadoop/yarn-site.xml and etc/hadoop/mapred-site.xml.
额外,你可以控制hadoop脚本,在bin/目录下,通过 etc/hadoop/hadoop-env.sh 和 etc/hadoop/yarn-env.sh.设置特性的值
HDFS 守护进程是 NameNode, SecondaryNameNode, and DataNode. YARN 守护进程是 ResourceManager, NodeManager, 和 WebAppProxy.如果使用MapReduce, 可以启用Job
4000
History Server.如果集群比较大,通常是在单独的主机上运行。
#########################################################
我们知道了各种配置文件,守护进程,那么剩下的就是对他们具体的配置。
这个配置我们是可以定制的,所以只要是hadoop2.x文档对于其他版本的文档,如果不是当前版本的新特性。所有的完全分布是文档都是可以通用的。
也就是说当前最新版本hadoop2.7,如果安装过以前hadoop2.2或则其他版本,那么集群的安装都是通用的。
hadoop(2.x)以hadoop2.2为例完全分布式最新高可靠安装文档
首先说一下这个安装过程需要注意的地方
一、使用新建用户可能会遇到的问题
(1)权限问题:对于新手经常使用root,刚开始可以使用,但是如果想真正的学习,必须学会使用其他用户。也就是你需要学会新建用户,但是新建用户,并不是所有人都会的。具体可以参考ubuntu创建新用户并增加管理员权限,这里面使用adduser是最方便的。也就是说你需要通过这里,学会给Linux添加用户,并且赋权,上面那篇文章会对你有所帮助。
(2)使用新建用户,你遇到另外一个问题,就是文件所属权限,因为新建的文件,有的属于root用户,有的属于新建用户,例如下面情况,我们看到mv.sh是属于root用户,大部分属于aboutyun用户。所以当我们两个不同文件不能访问的时候,这个可能是原因之一。也是在这里,当你新建用户的时候,可能会遇到的新问题。
(3)上面我们只是提出了问题,但是根本没有解决方案,这里在提出解决方案,我们如何改变文件所属用户。
比如上图中,mv.sh属于root用户,那么我们怎么让他所属about云用户。可以是下面命令:
sudo chown -R aboutyun:aboutyun mv.sh
解释一下上面命令的含义:
------------------------------------------------------------------------------------------------------------------------------------------------------
1.sudo:如果不是root用户,不带上这个命令会经常遇到麻烦,所以需要养成习惯。至于sudo详细解释可以看下面。
sudo是linux系统管理指令,是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具,如halt,reboot,su等等。这样不仅减少了root用户的登录 和管理时间,同样也提高了安全性。sudo不是对shell的一个代替,它是面向每个命令的。
2.chown-》change own的意思。即改变所属文件。对于他不了解的同学,可以查看:让你真正了解chmod和chown命令的用法
3.aboutyun:aboutyun代表aboutyun用户及aboutyun用户组
4.即是被授权的文件
(下载包为hadoop2.2)
下载完毕,我们就需要解压
tar zxvf hadoop-2.2.0_x64.tar.gz
这里是解压到当前路径。
这里就开始动手了,下面也介绍一下整体的情况:
1、这里我们搭建一个由三台机器组成的集群:
172.16.77.15 aboutyun/123456 master
172.16.77.16 aboutyun/123456 slave1
172.16.77.17 aboutyun/123456 slave1
1.1 上面各列分别为IP、user/passwd、hostname
一、需要注意的问题
hadoop2.2的配置还是比较简单的,但是可能会遇到各种各样的问题。最常讲的就是看不到进程。
看不到进程大致有两个原因:
1.你的配置文件有问题。
对于配置文件,主机名,空格之类的这些都不要带上。仔细检查
2.Linux的权限不正确。
最常出问题的是core-site.xml,与hdfs-site.xml。
core-site.xml
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/aboutyun/tmp</value>
<description>Abase forother temporary directories.</description>
</property>
说一下上面参数的含义,这里是hadoop的临时文件目录,file的含义是使用本地目录。也就是使用的是Linux的目录,一定确保下面目录
/home/aboutyun/tmp
的权限所属为你创建的用户。并且这里面我也要会变通,aboutyun,为我创建的用户名,如果你创建了zhangsan或则lisi,那么这个目录就会变为
/home/zhangsan/tmp
这里不熟悉,是因为对Linux的不熟悉的原因。这里在来张图:
注意:1和2对比。如果你所创建的tmp属于root,那么你会看不到进程。
[align=left]hdfs-site.xml[/align]
同样也是:要注意下面,你是需要改成自己的用户名的
[align=left] <property>[/align]
[align=left] <name>dfs.namenode.name.dir</name>[/align]
[align=left] <value>file:/home/aboutyun/dfs/name</value>[/align]
[align=left] </property>[/align]
[align=left] <property>[/align]
[align=left] <name>dfs.datanode.data.dir</name>[/align]
[align=left] <value>file:/home/aboutyun/dfs/data</value>[/align]
[align=left] </property>[/align]
上面讲完,我们开始配置
hadoop集群中每个机器上面的配置基本相同,所以我们先在master上面进行配置部署,然后再复制到其他节点。所以这里的安装过程相当于在每台机器上面都要执行。
【注意】:master和slaves安装的hadoop路径要完全一样,用户和组也要完全一致
1、 解压文件
将第一部分中下载的
tar zxvf hadoop-2.2.0_x64.tar.gz
mv hadoop-2.2.0 hadoop
解压到/usr路径下
并且重命名,效果如下
2、 hadoop配置过程
配置之前,需要在master本地文件系统创建以下文件夹:
~/dfs/name
~/dfs/data
~/tmp
这里文件权限:创建完毕,你会看到红线部分,注意所属用户及用户组。如果不再新建的用户组下面,可以使用下面命令来修改:让你真正了解chmod和chown命令的用法
这里要涉及到的配置文件有7个:
~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh
~/hadoop-2.2.0/etc/hadoop/yarn-env.sh
~/hadoop-2.2.0/etc/hadoop/slaves
~/hadoop-2.2.0/etc/hadoop/core-site.xml
~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml
~/hadoop-2.2.0/etc/hadoop/mapred-site.xml
~/hadoop-2.2.0/etc/hadoop/yarn-site.xml
以上文件默认不存在的,可以复制相应的template文件获得。下面举例:
配置文件1:hadoop-env.sh
修改JAVA_HOME值(export JAVA_HOME=/usr/jdk1.7)
配置文件2:yarn-env.sh
修改JAVA_HOME值(export JAVA_HOME=/usr/jdk1.7)
配置文件3:slaves (这个文件里面保存所有slave节点)
写入以下内容:
配置文件4:core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/aboutyun/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>hadoop.proxyuser.aboutyun.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.aboutyun.groups</name>
<value>*</value>
</property>
</configuration>
配置文件5:hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/aboutyun/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/aboutyun/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
配置文件6:mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>
配置文件7:yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
3、复制到其他节点
上面配置完毕,我们基本上完成了90%了剩下就是复制。我们可以把整个hadoop复制过去:使用如下命令:
sudo
scp -r /usr/hadoop aboutyun@slave1:~/
这里记得先复制到home/aboutyun下面,然后在转移到/usr下面。
后面我们会经常遇到问题,经常修改配置文件,所以修改完一个配置文件后,其他节点都需要修改,这里附上脚本操作方便:
一、节点之间传递数据:
第一步:vi scp.sh
第二步:把下面内容放到里面(记得修改下面红字部分,改成自己的)
#!/bin/bash
#slave1
scp /usr/hadoop/etc/hadoop/core-site.xml aboutyun@slave1:~/
scp /usr/hadoop/etc/hadoop/hdfs-site.xml aboutyun@slave1:~/
#slave2
scp /usr/hadoop/etc/hadoop/core-site.xml aboutyun@slave2:~/
scp /usr/hadoop/etc/hadoop/hdfs-site.xml aboutyun@slave2:~/
第三步:保存scp.sh
第四步:bash scp.sh执行
二、移动文件夹:
可以自己写了。
4.配置环境变量
第一步:
vi /etc/environment
第二步:添加如下内容:记得如果你的路径改变了,你也许需要做相应的改变。
4、启动验证
4.1 启动hadoop
格式化namenode:
hdfs
namenode –format
或则使用下面命令:
hadoop
namenode format
启动hdfs:
start-dfs.sh
此时在master上面运行的进程有:
namenode
secondarynamenode
slave节点上面运行的进程有:datanode
启动yarn:
start-yarn.sh
我们看到如下效果:
master有如下进程:
slave1有如下进程
此时hadoop集群已全部配置完成!!!
【注意】:而且所有的配置文件<name>和<value>节点处不要有空格,否则会报错!
然后我们输入:(这里有的同学没有配置hosts,所以输出master访问不到,如果访问不到输入ip地址即可)
以上全部都为转载,我最后弄的时候基本上都是按这个来弄的。但我的是在hadoop用户下安装的hadoop2.6.0,除了路径不一样,其他的也都是一致的。基本上按这个来都没问题。感谢这位美女大神~授人以鱼不如授人以渔!
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- 单机版搭建Hadoop环境图文教程详解
- hadoop常见错误以及处理方法详解
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- Apache Hadoop版本详解
- linux下搭建hadoop环境步骤分享
- hadoop client与datanode的通信协议分析
- hadoop中一些常用的命令介绍
- Hadoop单机版和全分布式(集群)安装
- 用PHP和Shell写Hadoop的MapReduce程序
- hadoop map-reduce中的文件并发操作
- Hadoop1.2中配置伪分布式的实例
- java结合HADOOP集群文件上传下载
- 用python + hadoop streaming 分布式编程(一) -- 原理介绍,样例程序与本地调试
- Hadoop安装感悟
- hadoop安装lzo