OpenMP的学习初步

Parallel Programming Patterns

1.根据设计需求，找出可以并行设计程序的空间

A.找出并发的内容

a) 域分解

b) 任务分解

B.算法结构设计空间

设计出的算法具有：效率，简单，可移植，可测量

C.支持结构

a) 程序结构

SPMD – Same Program Multiple Data

loop parallelism

boss/worker

fork join

b) 数据结构

i. 共享数据

ii. 共享队列

iii. 分布数组

D.落实机器处理空间

2.改进设计

A.任务，数据，部分程序的顺序

B.线程，进程，时间清单

C.源代码的组织，共享数据

D.消息，同步机制，结果

并行任务分析

任务分解

Example

First.嵌套循环中，比如串行执行M*N个时钟

#define N 23

#define M 1000

for (k = 0; k < N; k++)

for (j = 0; j < M; j++)

w_new[k][j] = DoSomeWork(w[k][j], k, j);

Second.转换成一个for循环，串行依然是M*N个时钟

#define N 23

#define M 1000

for (kj = 0; kj < N*M; kj++) {

k = kj / M;

j = kj % M;

w_new[k][j] = DoSomeWork(w[k][j], k, j);

Third.用多线程并行，

#define N 23

#define M 1000

#pragma omp for private(k,j) schedule(static, 500)

动态调度让每一条线程执行通过块大小（chunk-size）（默认为1）指定数量的迭代。当线程执行完交给它的迭代，它就请求再次执行chunk-size次迭代，直到所有迭代结束。显而易见，最后一次迭代可能少于chunk-size次

for (kj = 0; kj < N*M; kj++) {//k,j都是每个线程私有的变量

k = kj / M;

j = kj % M;

w_new[k][j] = DoSomeWork(w[k][j], k, j);

}

#define N 23

#define M 5323

#define numThreads 16

. . .

int start = ((N*M)/numThreads) * myID;

int end = ((N*M)/numThreads) * (myID+1);

. . .

if (myID == (numThreads-1)) end = N*M;

. . .

for (kj = start; kj < end; kj++) { . . . }

#define N 23

#define M 1000

#define numThreads 4

. . .

for (kj = myID; kj < N*M; kj+=numThreads) {

k = kj / M;

j = kj % M;

w_new[k][j] = DoSomeWork(w[k][j], k, j);

}