并行计算起源与基本概念

1.并行计算硬件出现



2002年以前，芯片上的晶体管集成密度指数上升，性能保持1.5倍增长，但是渐渐的随着晶体管密度

上升，空气散热已经无法解决散热问题，芯片制造商提出与其制造单块计算性能更快的芯片

不如在单块芯片上面集成更多的计算核心，由此出现多个CPU的芯片---多核。



上图为典型的计算机系统硬件结构图，主要看CPU（Central Processing Unit）部分，由PC（程序计数器），寄存器文件，ALU（计算逻辑单元），总线结构组成（Bus interface）组成，多核即可看成是有多个CPU通过系统总线（System bus）与I/O桥相连。该图会在以后的博客中用来说明IMID,SMID,MIMD的区别。

2.串行程序转化为并行程序的方法

主要包括两种：任务并行和数据并行

任务并行：不同的CPU可能执行不同的任务，处理相同的数据

数据并行：每个核心执行相同的命令，处理不一样的数据

举一个例子：有20份卷子，一份卷子有5道题，现在由5个老师来批改

方案一：每个老师批改其中一道题，每个老师都要改20份卷子

方案二：每个老师分4份卷子，老师负责改完自己拿到的卷子的全部题目

把老师看成CPU，卷子作为要处理的数据，则方案一为任务并行，方案二为数据并行。

3.并行计算系统与编程

并行系统分为：共享内存系统和分布式内存系统

共享内存系统中每个CPU都能对内存进行修改，主要限制是内存不足

分布式内存系统中每个核有自己的内存，主要限制是网络通信慢

编程：消息传递接口（MPI 是C的扩展接口），POSIX线程（Pthreads 是C的扩展接口）和OpenMP。

其中MPI适合于分布式内存系统，POSIX线程与OpenMP适合共享内存系统。

4.并发，并行，分布式的区别
并发：同一时间有多个程序同时运行
并行：同一个程序由多个任务紧密协作完成
分布式：一个程序需要与其他程序协作完成
三个概念并不是相对的关系，是三个有交集的概念，分布式是并行的一种形式，而并行机器的事务是并发的。

5，MPI，openMPI与pthread的区别
MPI适用于分布式内存编程（基本单元->进程）
openMPI与pthread适用于共享内存编程（基本单元->线程）
openMPI编写更加方便，但是难以实现底层线程的通信。
pthread变成相对繁杂，但是实现底层线程通信更为方便。