Hadoop 的三种运行模式以及伪分布式模式配置

一 三种模式
1 单机模式
2 伪分布式模式
3 完全分布式模式

二 单机模式特点
默认模式
不对配置文件进行修改
使用本地文件系统
Hadoop的守护进程未启动
用于对MapReduce程序的逻辑进行调试

三 伪分布式模式
在一台主机模拟多台主机
每个守护进程都以Java进程的形式运行
在单机模式之上增加了代码调试功能，允许检查内存使用情况，HDFS输入输出，以及其他的守护进程交换
修改3个配置文件：core-site.xml，hdfs-site.xml，mapred-site.xml
格式化文件系统

四 完全分布式模式
多台主机
所有主机安装JDK和Hadoop
设置SSH免密码登录
修改3个配置文件：core-site.xml，hdfs-site.xml，mapred-site.xml
格式化文件系统

五 伪分布式安装实例
1、进入Hadoop的配置文件夹
[root@localhost ~]# cd /opt/hadoop-1.2.1/conf
[root@localhost conf]# ls
capacity-scheduler.xml      hadoop-policy.xml      slaves
configuration.xsl           hdfs-site.xml          ssl-client.xml.example
core-site.xml               log4j.properties       ssl-server.xml.example
fair-scheduler.xml          mapred-queue-acls.xml  taskcontroller.cfg
hadoop-env.sh               mapred-site.xml        task-log4j.properties
hadoop-metrics2.properties  masters
2、对core-site.xml进行配置
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
3、对hdfs-site.xml进行配置
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
4、格式化hdfs文件系统
[root@localhost conf]# hadoop hdfs -format
Warning: $HADOOP_HOME is deprecated.
Error: Could not find or load main class hdfs
[root@localhost conf]# hadoop namenode -format
Warning: $HADOOP_HOME is deprecated.
17/12/10 06:52:28 INFO namenode.NameNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG:   host = localhost.localdomain/127.0.0.1
STARTUP_MSG:   args = [-format]
STARTUP_MSG:   version = 1.2.1
STARTUP_MSG:   build =
https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013
STARTUP_MSG:   java = 1.7.0_141
************************************************************/
Re-format filesystem in /hadoop/dfs/name ? (Y or N) y
Format aborted in /hadoop/dfs/name
17/12/10 06:52:49 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost.localdomain/127.0.0.1
************************************************************/
5、启动程序
[root@localhost bin]# start-all.sh
6、检测启动是否成功
[root@localhost bin]# jps
3234 TaskTracker
2751 NameNode
3016 SecondaryNameNode
3292 Jps
3093 JobTracker
2893 DataNode