并行计算 & HPC & MPI

1.并行编程模型
并行编程模型有三类：
（1）数据并行模型
相同的操作同时作用于不同的数据。
（2）共享变量模型
用共享变量实现并行进程间的通信。
（3）消息传递模型
在消息传递模型中，驻留在不同节点上的进程可以通过网络传递消息相互通信，实现进程之间的信息交换、协调步伐、控制执行等。



2.HPC
HPC，highperformance computing，高性能计算平台，和map-reduce并行的一种高性能分布式计算平台。
HPC=
Torque + Maui
+ OpenMPI
Torque：一个资源管理器，统筹着集群的所有资源；
Maui：一个任务调度器，支持将任务划分为队列，将任务划分为用户，支持资源预留，支持各种复杂的优先级策略，支持抢占机制等；
OpenMPI：一个上层通信环境，兼顾通信库，编译，分布式启动任务的共能；
Torque和maui属于平台的管理软件，完全对用户透明，OpenMPI用户则需要进行相关的了解。

3.MPI
MPI，Massage Passing Interface:是消息传递函数库的标准规范，由MPI论坛开发，支持Fortran和C/C++，MPI的特点有：
（1）MPI一种新的库描述，不是一种语言。
（2）共有上百个函数调用接口，在Fortran和C/C++语言中可以直接对这些函数进行调用
（3）是一种标准或规范，而不是特指某一个对它的具体实现
（4）MPI是一种消息传递编程模型，并成为这种编程模型的代表和事实上的标准

MPI标准和规范的实现：
（1）MPICH
是MPI最流行的非专利实现,由Argonne国家实验室和密西西比州立大学联合开发,具有更好的可移植性。当前最新版本有MPICH1.2.7p1和MPICH2
1.3.2p1。
（2）OpenMPI
LAMMPI的下一代MPI实现。当前最新版本1.4.3
（3）更多的商业版本MPI
有HP-MPI，MS-MPI，……

所有的版本遵循MPI标准，MPI程序可以不加修改的运行。

4.mpi程序的helloworld范例
（1）例程

#include<stdio.h>
#include "mpi.h“
main( int argc, char*argv[] )
{
MPI_Init( &argc,&argv );
printf(“HelloWorld!\n");
MPI_Finalize();
}

（2）MPI程序的编译和运行
mpicc–O2 –o hello hello.c #生成hello的可执行代码
mpirun –np 4 hello #运行hello可执行程序。4指定np的值，表示进程数，由用户指定。hello，要运行的MPI并行程序。
（3）MPI程序是如何执行的？





详细内容参见ebook