MPI学习笔记之并行程序概述

在学习CUDA和CAFFE后，我又准备把MPI看一下，主要是了解一下。主要是对并行计算的强烈性趣。。。。。额，兴趣。

一、前言

1、实现方式：

并行程序的两种实现方式：

任务并行：将任务分配带若干计算核上;

数据并行：将数据进行分割，然后由不同的计算核进行处理，每个核在规模相当的数据集上大致采用相同的操作。这不由使我想到了CAFFE中的对GPU的运用来实习并行训练的思路，就是将数据集进行分割，每个GPU并行处理各自对应的数据集，我认为是很占便宜的。

2、并行硬件和软件

硬件大概是单指令多数据流、多指令多数据流比较占优势。

多指令多数据流又分为分布式内存系统和共享内存系统。

分布式内存系统：

每个处理器由独立的内存，通过消息传递函数来通信。

共享式内存系统：

多个处理器能访问内存系统中的相同内存，通过共享内存进行通信。

MPI就是用来在分布式系统中为各处理器进行消息传递的API。

引：

各个核能够直接访问自己的内存，而运行在不同核之间的进程需要交换内存数据的时候，只能通过消息传递API来实现。消息传递的API至少要提供一个发送函数和接收函数。进程之间通过它们的序号（rank）进行识别。

3、并行程序的流程

a、任务或者数据划分，就是要识别出任务中可以进行并行执行的部分。

b、不同任务之间的通信;

c、聚合，将任务和通信进行集合，聚合成更大的任务;

d、分配，将聚合的任务分配到进程或线程中。

二、MPI简介

1、MPI是进程级别的，通过通信在进程之间进行消息传递。

2、编程模型复杂：

a、需要进行任务划分;

》》》》》》》》》》》》》》》》》》》》》》》》》》》

b、通信延迟和负载不均衡;通信延迟很好理解，负载不均衡是因为分布式的系统，每个处理的任务量不同？待进一步的解释

》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》》

c、可靠性差，一个进程出错，整个程序崩溃。第一感觉就是这简直是MPI的命门。在分布式系统中某一个进程出错是很容易的，为MPI的命运担忧。。。

三、其他并行实现手段的介绍

1、pthread、boost::thread

多线程系统，比如C++的boost中的thread可以在多个平台移植。采用的是共享内存。

2、OpenMP

同样是线程级别的，采用共享内存，了解不多。

3、OpenCL

是为异构平台编写的框架，OpenCL提供了基于任务分割和数据分割的并行计算机制。