分布式计算的基本概念

分布式系统的通信是关键。

0. 主从

主从分布式：

控制节点

工作节点

主从分布式的通信

工作节点之间没有通信；

控制节点与各个工作节点之间是双向通信；

控制节点 ⇒ 工作节点，下发任务；

工作节点 => 控制节点，生成新的任务统一交由控制节点管理；

缺陷：

控制节点会成为整个系统的瓶颈，容易导致整个分布式系统性能下降；

1. 计算核心数

长期以来，核心负责对处理器（processor）中的数据进行处理。共同运行的核心越多，计算机执行任务的速度越快。

CPU 核心专为效率型应用程序等串行任务而设计，

GPU 是为执行视频编辑、游戏和丰富的网页浏览等更多的并行和图形密集型任务而设计。

比如对于中国的天河二号，共 16,000 个运算节点，每节点配备两颗 Xeon E5 12 核心的中央处理器、三个 Xeon Phi 57 核心的协处理器（运算加速卡）。累计 32,000 颗 Xeon E5 主处理器和 48,000个Xeon Phi 协处理器，共 ？ 个计算核心。

32000*12 + 48000*57 = 3120000