C# Hadoop学习笔记（五）—设计粗浅的C#的云计算框架

一、自有云计算框图

[align=left] [/align]

(一)、MapReduce基本思路

JobQueue（工作队列）——Jobs(工作内容)——Tasks(执行计算)

1、JobQueue，负责承载计算任务列表，允许并行任务进行；

1）属性：包含优先级、并发任务最大数量；

2）状态监控：活跃数量、成功、失败；

3）行为：添加一个任务、移除一个任务、修改任务优先级。

2、Job，负责描述工作内容，允许执行多个计算；

1）属性：描述一个工作的输入和输出；

2）状态监控：

3）行为：开始工作、停止工作

3、Task，描述一个Map和Reduce的执行控制；

4、Mapper，描述一个分页的算法或者称作拆分输入数据或流的算法；

5、Reducer，描述一个核心的算法负责处理数据。

6、ReduceCombin，描述一个合并的算法，负责将各个Reducer的结果进行合并（可以让Reducer担当）

辅助：

1、JobConfig负责描述Job的输入和输出，其中输入接受文件路径、流、数据库；输出结果以文件、流、或ILIST结果承载。

2、Context负责描述输入的结构和执行操作，作为Mapper和Reduce的标准输入。

（二）Tracker控制器的基本思路

1、JobTracker负责调度工作、实例化工作、分配任务、任务结果合并

2、TaskTracker负责调度任务、获取MapReduce、实例化任务、启动Mapper、启动Reduce、通知Job执行结果

（三）ICLOUDComputing全局控制器

1、RunTime 负责监控节点状态（心跳）、热增加节点、删除节点

2、Connection负责连接云环境、断开连接等

3、Configration负责基础配置，例如心跳时长等等的基础配置。

（四）Catch

1、MemoryMappedFile 负责内存镜像，处理计算的目标文件缓存

2、Page 负责将数据分页，包括流分页、数据库分页（多种数据库）、文件分页

总体思维导图如下：

二、云存储实现

（一）、基于内存的云存储

[align=left] [/align]

（二）命中缓存



[align=left] [/align]

三、云计算

[align=left] [/align]