hadoop1.2.1三种模式配置
2016-02-21 13:53
288 查看
1.本地模式
本地模式的安装
将hadoop 安装包解压后不用任何配置就是默认的本地模式
此时 core-site.xml ,hdfs-site.xml , marped.site.xml 三个配置文件都为空
此时没有hdfs文件系统,可以执行mapreduce
hadoop fs -ls / 会列出本地的linux文件系统
2. 伪分布式模式
需要配置core-site.xml ,hdfs-site.xml,marped-site.xml
core-site.xml
![](http://images2015.cnblogs.com/blog/819886/201602/819886-20160221134614436-2024576985.png)
hdfs-site.xml
![](http://images2015.cnblogs.com/blog/819886/201602/819886-20160221134852608-1869283807.png)
mapred.site.xml
![](http://images2015.cnblogs.com/blog/819886/201602/819886-20160221134942139-461743304.png)
此时默认hdfs的namenode数据存储在linux的/tmp/hadoop-hadoop/dfs
hadoop临时文件目录默认在hdfs文件系统
drwxr-xr-x - hadoop supergroup 0 2016-02-21 01:04 /tmp/hadoop-hadoop
设置好配置文件后, 需要格式化hdfs系统 hadoop namenode -format
创建文件
hadoop fs -mkdir input
默认会创建在hdfs中的 /user/hadoop/input
hadoop为当前用户
运行mapreduce wordcount
hadoop jar hadoop-examples* wordcount input output
input,output,为hdfs的目录,重新执行时要删除output文件夹
启动hadoop
![](http://images2015.cnblogs.com/blog/819886/201602/819886-20160221135845748-1796092524.png)
本地模式的安装
将hadoop 安装包解压后不用任何配置就是默认的本地模式
此时 core-site.xml ,hdfs-site.xml , marped.site.xml 三个配置文件都为空
此时没有hdfs文件系统,可以执行mapreduce
hadoop fs -ls / 会列出本地的linux文件系统
2. 伪分布式模式
需要配置core-site.xml ,hdfs-site.xml,marped-site.xml
core-site.xml
![](http://images2015.cnblogs.com/blog/819886/201602/819886-20160221134614436-2024576985.png)
hdfs-site.xml
![](http://images2015.cnblogs.com/blog/819886/201602/819886-20160221134852608-1869283807.png)
mapred.site.xml
![](http://images2015.cnblogs.com/blog/819886/201602/819886-20160221134942139-461743304.png)
此时默认hdfs的namenode数据存储在linux的/tmp/hadoop-hadoop/dfs
hadoop临时文件目录默认在hdfs文件系统
drwxr-xr-x - hadoop supergroup 0 2016-02-21 01:04 /tmp/hadoop-hadoop
设置好配置文件后, 需要格式化hdfs系统 hadoop namenode -format
创建文件
hadoop fs -mkdir input
默认会创建在hdfs中的 /user/hadoop/input
hadoop为当前用户
运行mapreduce wordcount
hadoop jar hadoop-examples* wordcount input output
input,output,为hdfs的目录,重新执行时要删除output文件夹
启动hadoop
![](http://images2015.cnblogs.com/blog/819886/201602/819886-20160221135845748-1796092524.png)
![](http://images2015.cnblogs.com/blog/819886/201602/819886-20160221135919811-1856611445.png)
相关文章推荐
- tomcat发布web service教程
- 深入理解Linux内核 第二章知识点总结
- raid及mdadm命令之一(含shell显示字体颜色等)
- [ahk]获取网站的源代码
- Linux 下 SVN 常用命令
- ios架构设计的方法论
- 【Linux 基础篇】之 single模式修改密码
- 【Linux 基础篇】之 rsync
- JBoss vs. Tomcat
- getopt和getopt_long函数
- linux下查看文件内容cat,more,less
- 【Linux 基础篇】之 yum安装LAMP环境与管理
- 【Linux 基础篇】之软件管理.
- Linux 基金会发布面向IoT设备的实时OS「Zephyr 项目」
- 【Linux 基础篇】之系统管理
- 个人常用linux命令归纳(3)
- Linux中安装文本查看器gedit
- maven scope含义的说明
- Shell备份数据库脚本编写
- Linux学习笔记之权限与命令之间的关系(重要)及文件与文件夹知识总结