Hadoop
2020-03-28 20:10
197 查看
核心
1 HDFS 系统
1 块 2.NameNode 管理节点 存放文件元数据 1 文件与数据块的映射表 2 数据块与数据节点的映射表 3 DataNode 工作节点 存放数据块 4 HDFS的特点: 1 数据冗余,硬件容错 写一复三,从而解决硬件的容错 2 流式的数据访问 只能存读删,不能修改。 3 储存大数据 小数据的复制,讲会增加NameNode的负载压力
2 MapReduce 框架 : 将一个大任务分成多个小的子任务(map),并行执行后,合并结果(reduce)。
1 Job&Task 一个Job会被拆分成多个Task 2 JobTracker 1 作用 1 作业的调度 2 发配任务、监控任务执行进度 3 监控TaskTracker的状态 3 TaskTracker 1 MapTask 2 ReduceTask 3 作用 1 执行任务 2 汇报任务状态 4 容错机制 1 重复执行 :执行4次之后,还是失败的话,将停止执行。 2 推测执行 :待map端算完后,若其中一个节点算的速度特别慢,JobTracker会察觉到,将任务再分配给另一个TaskTracker,两者同时计算, 若某一个先计算完,另一个则停止运算。
- 点赞
- 收藏
- 分享
- 文章举报
相关文章推荐
- 英特尔Hadoop发行版白皮书
- Hadoop Kernel tunning
- hive在hadoop中的一个demo运行过程总结
- Hadoop的datanode没有启动--解决办法
- hadoop3
- Spark学习笔记(三) Ubuntu搭建Hadoop分布式集群
- Hadoop-2.4.1学习之NameNode -format源码分析
- Ubuntu14.04下安装伪分布式Hadoop-2.6.0完整步骤
- hadoop SequenceFile 读取例程注释
- hadoop在对数据压缩时出现的问题
- Hadoop1.0和Hadoop2.0的区别
- Hadoop中mapred.child.java.opds参数意义
- Hadoop Streaming shell 脚本命令汇总
- hadoop2.3配置文件
- Hadoop集群(第4期)_SecureCRT使用
- 在Windows下安装Hadoop
- Hive code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask问题修复
- [Hadoop]Hadoop安装
- hadoop3
- Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/CanUnbuffer