您的位置:首页 > 大数据 > Hadoop

Hadoop

2020-03-28 20:10 197 查看

核心

1 HDFS 系统

1 块

2.NameNode 管理节点 存放文件元数据

1 文件与数据块的映射表

2 数据块与数据节点的映射表

3 DataNode 工作节点 存放数据块

4 HDFS的特点:

1 数据冗余,硬件容错

写一复三,从而解决硬件的容错

2 流式的数据访问

只能存读删,不能修改。

3 储存大数据

小数据的复制,讲会增加NameNode的负载压力

2 MapReduce 框架 : 将一个大任务分成多个小的子任务(map),并行执行后,合并结果(reduce)。

1 Job&Task

一个Job会被拆分成多个Task

2 JobTracker

1  作用

1 作业的调度

2 发配任务、监控任务执行进度

3 监控TaskTracker的状态

3 TaskTracker

1 MapTask

2 ReduceTask

3 作用

1 执行任务

2 汇报任务状态

4 容错机制

1 重复执行 :执行4次之后,还是失败的话,将停止执行。

2 推测执行 :待map端算完后,若其中一个节点算的速度特别慢,JobTracker会察觉到,将任务再分配给另一个TaskTracker,两者同时计算,
若某一个先计算完,另一个则停止运算。
  • 点赞
  • 收藏
  • 分享
  • 文章举报
lbooy 发布了3 篇原创文章 · 获赞 0 · 访问量 1290 私信 关注
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: