Hadoop 全分部最详细

工作过程：
1、通过安装、克隆方式逐步配置好3台Centos7 64位操作系统的虚拟机；
2、安装好jdk；
3、安装配置SSH；
4、配置hadoop-env.sh；
5、配置hadoop-core-site.xm；
6、配置hadoop-hdfs-site.xm；
7、配置hadoop-mapred-site.xml；
8、配置hadoop-yarn-site.xml；
9、配置slave；
10、分发到所有虚拟机上；
11、测试并运行程序。

规划：
cmaster，cslave0，cslave1

Hdfs:
 NameNode
 DataNode
 SecondaryNameNode
Yarn:
 ResourceManager
 Scheduler
 ApplicationManager
 NodeManager
 Container
 ApplicationMaster

Hadoop配置：
cd $HADOOP_HOME 在/etc/profile中设置过了
1.
vi ./etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk1.8.0_151
export HADOOP_CONF_DIR=/usr/local/hadoop-2.8.5/etc/hadoop/
2.核心设置
vi ./etc/hadoop/core-site.xml

**配置hdfs默认的命名
fs.defaultFS
hdfs://cmaster:9000

配置操作hdfs缓冲区大小
io.file.buffer.size
4096

配置临时目录
hadoop.tmp.dir
/home/bigdata/tmp


3.hdfs设置
vi ./etc/hadoop/hdfs-site.xml

配置副本因子
dfs.replication
3

配置块大小
dfs.block.size
134217728

配置元数据的存储位置
dfs.namenode.name.dir
file:///home/hadoopdata/dfs/name

配置datanode数据存放位置
dfs.datanode.data.dir
/home/hadoopdata/dfs/data

配置fs检测目录存放位置
fs.checkpoint.dir
/home/hadoopdata/checkpoint/dfs/cname

配置hdfs的namenode的web ui地址
dfs.http.address
cmaster:50070

配置dfs的SNN的web ui地址
dfs.secondary.http.address
cmaster:50090

是否开启web操作dfs
dfs.webhdfs.enabled
false

是否启用hdfs的权限
dfs.permissions
false

4.mapreduce设置
mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
vi ./etc/hadoop/mapred-site.xml

指定mapreduce运行框架
mapreduce.framework.name
yarn
true

历史服务的通信地址
mapreduce.jobhistory.address
cmaster:10020

历史服务的web ui通信地址
mapreduce.jobhistory.webapp.address
cmaster:19888

5.yarn设置
vi ./etc/hadoop/yarn-site.xml

指定resourcemanager所在的主机名
yarn.resourcemanager.hostname
cmaster

指定mapreduce的shuffle
yarn.nodemanager.aux-services
mapreduce_shuffle

指定resourcemanager内部通信地址
yarn.resourcemanager.address
cmaster:8032

指定scheduler的内部通信地址
yarn.resourcemanager.scheduler.address
cmaster:8030

指定rm的resource-tracker的内部通信地址
yarn.resourcemanager.resource-tracker.address
cmaster:8031

指定rm的admin的内部通信地址
yarn.resourcemanager.admin.address
cmaster:8033

指定rm的web ui地址
yarn.resourcemanager.webapp.address
cmaster:8088

vi ./etc/hadoop/slaves

cmaster
cslave0
cslave1

7.完成分发任务
vi /etc/hosts
192.168.245.111 cmaster
192.168.245.112 cslave0
192.168.245.113 cslave1
在两个slave里删除Hadoop目录
cslave0: rm -rf /usr/local/hadoop-2.8.4/
cslave1: rm -rf /usr/local/hadoop-2.8.4/
完成分发工作：
cmaster: scp -r /usr/local/hadoop-2.8.4/ cslave0:/usr/local/
scp -r /usr/local/hadoop-2.8.4/ cslave1:/usr/local/

8.启动之前要先在namenode服务器上格式化，只需一次。
hadoop namenode –format
启动三种方式：
全启动：
start-all.sh
模式启动：
start-dfs.sh
start-yarn.sh
单个进程启动：
hadoop-daemon.sh start namenode
hadoop-daemons.sh start datanode
yarn-daemon.sh start namenode
yarn-daemons.sh start datanode
mr-jobhistory-daemon.sh start historyserver

测试：
1、 查看进程是否启动了：jps
2、 查看对应模块的web
http://192.168.245.111:50070
http://192.168.245.111:8088
3、 上传下载文件
Hdfs dfs –ls /
Hdfs dfs –put ./*** /
4、 跑一个程序
yarn jar $HADOOP_HOME/share/hadoop/mapreduce/Hadoop-mapreduce-examples-2.7.1.jar wordcount /*** /out/01

hdfs dfs –ls /out/01
hdfs dfs –cat /out/01/****

带尺寸的图片:

居中的图片:

居中并且带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的

代码片

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

• 项目 项目 项目

1. 项目1
2. 项目2
3. 项目3

• 计划任务
• 完成任务

创建一个表格

一个简单的表格是这么创建的：

设定内容居中、居左、居右

使用

:---------:

:----------

----------:

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

'Isn't this fun?'

"Isn't this fun?"

-- is en-dash, --- is em-dash

创建一个自定义列表

Markdown

Text-to-HTML conversion tool

Authors

John

Luke

如何创建一个注脚

一个具有注脚的文本。1

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 Γ(n)=(n−1)!∀n∈N\Gamma(n) = (n-1)!\quad\forall n\in\mathbb NΓ(n)=(n−1)!∀n∈N 是通过欧拉积分

Γ(z)=∫0∞tz−1e−tdt . \Gamma(z) = \int_0^\infty t^{z-1}e^{-t}dt\,. Γ(z)=∫0∞​tz−1e−tdt.

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

• 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：

这将产生一个流程图。:

• 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

• 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

1. 注脚的解释 ↩︎

• 点赞
• 收藏
• 分享
• 文章举报