Hadoop的单机模式和官方示例
一、 单机模式说明
单机模式是Hadoop的默认模式。
又称本地模式、独立模式等。
因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程。
该模式主要用于开发调试MapReduce程序的应用逻辑。
1. 环境准备
在一台linux机器上,安装好hadoop运行环境,安装方式请查看:HADOOP运行环境搭建
2. 配置说明
首先说明,单机模式在安装之后不需要修改任何配置,配置文件为空即可!
之所以单机模式不需要任何配置文件,是因为配置文件不配置时,系统默认值即为单机模式所需。
配置文件名 | 配置项 | 配置项含义 | 默认值 | 默认值含义 |
---|---|---|---|---|
core-site.xml | fs.defaultFS | 默认文件系统的名称,可以是HDFS的NameNode地址或者本地 | file:/// | 文件读取和存储都在本地 |
mapred-site.xml | mapreduce.framework.name | 指定执行MapReduce任务的框架。可以是本地、经典、yarn | local | 指定MR运行在本地 |
二、本地运行官方示例
搭建完成Hadoop运行环境之后,无需任何配置,即可开始本地MapReduce的测试任务,官方在share文件夹下,提供了一些官方样例。
1. 官方Grep案例
1. 在/opt/module/hadoop-2.7.2文件下面创建一个input文件夹,作为MR任务的输入目录
[root@hadoop101 hadoop-2.7.2]# pwd /opt/module/hadoop-2.7.2 [root@hadoop101 hadoop-2.7.2]# mkdir input
2. 在输入目录中,添加一些测试文件,这里可以将hadoop的配置文件复制进来
[root@hadoop101 hadoop-2.7.2]# cp etc/hadoop/*.xml input
3. 执行MR任务
[root@hadoop101 hadoop-2.7.2]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
这句脚本的含义是,调用share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar脚本,执行grep方法,输入目录时input,输出目录时output,将统计满足正则表达式’dfs[a-z.]+'的所有内容输出到output目录下的文件中
4. 验证执行结果
在output出现大小为0的,名为SUCCESS的文件,则说明任务执行成功,另一个以part开头的文件,就是这次mr任务的执行结果,可以使用cat命令查看输出内容。
2. 官方WordCount案例
1. 在/opt/module/hadoop-2.7.2文件下面创建一个wcinput文件夹
[root@hadoop101 hadoop-2.7.2]# pwd /opt/module/hadoop-2.7.2 [root@hadoop101 hadoop-2.7.2]# mkdir wcinput
2. 在wcinput文件下创建一个wc.input文件
[root@hadoop101 hadoop-2.7.2]# cd wcinput [root@hadoop101 wcinput]# touch wc.input
3. 编辑wc.input文件
在文件中输入以下内容:
hadoop yarn hadoop mapreduce atguigu atguigu
4. 回到Hadoop目录/opt/module/hadoop-2.7.2
5. 执行MR任务
[root@hadoop101 hadoop-2.7.2]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput
这句脚本的含义是,调用share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar脚本,执行wordcount方法,输入目录时input,输出目录时output,将input目录下的所有文件中,所有单词出现的次数统计出来,输出到output目录下的文件中。
6. 验证执行结果
在output出现大小为0的,名为SUCCESS的文件,则说明任务执行成功,另一个以part开头的文件,就是这次mr任务的执行结果,可以使用cat命令查看输出内容。
- Hadoop的单机模式、伪分布式模式和完全分布式模式
- Hadoop基础教程-第8章 Zookeeper(8.3 Zookeeper单机模式)(草稿)
- ubuntu12.04 hadoop单机模式和伪分布模式搭建
- Hadoop三种安装模式:单机模式,伪分布式,真正分布式
- Hadoop的单机模式、伪分布式模式和完全分布式模式
- Eclipse下使用Hadoop单机模式调试MapReduce程序
- hadoop单机模式配置
- 从零开始搭建Hadoop框架(单机模式)
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- JDK+Hadoop安装配置、单机模式配置、Hadoop伪分布式模式配置
- Hadoop初识--Hadoop单机模式安装和环境配置
- hadoop单机模式读取sequence文件
- Hadoop单机模式安装入门(Ubuntu系统)
- 配置Hadoop单机模式并运行Wordcount
- Hadoop单机模式部署
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)
- 新手上路——hadoop2.7.3单机模式环境搭建
- Ubuntu 14.04下安装Hadoop2.4.0 (单机模式)
- Hadoop2.2.0单机模式配置
- Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)