基于MPI的Linux计算集群搭建

序言

MPI（Message Passing Interface）是一种较为底层（相比于Spark等）的分布式计算框架，详情可参见Wikipedia上的介绍：

https://en.wikipedia.org/wiki/Message_Passing_Interface

本文将对MPI在CentOS 7系统上的编译配置，以及相应的Python接口的安装过程进行介绍。我们基于两台位于同一局域网内的计算机进行配置，将其构成一个小型的计算集群。假设两台计算机的IP地址分别为192.168.100.0和192.168.100.1，都有一个名为mpi的用户。下文中的命令均是在192.168.100.0上执行的，192.168.100.1上的配置命令类似，仅少数涉及IP地址的地方，稍作修改即可。

前期准备工作

CentOS中很多软件需要从EPEL软件源中获取，该软件源的安装方式为：

sudo yum install epel-release*

接下来我们需要配置两台计算机之间的SSH无密码登陆，即基于~/.ssh目录下的authorized_keys文件进行验证。首先，生成各自的公钥文件（有提示输入的时候直接回车确认即可）：

ssh-keygen -t rsa

然后将公钥文件的内容写入到authorized_keys文件中：

scp 192.168.100.1:/home/mpi/.ssh/id_rsa.pub .
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys && rm ~/id_rsa.pub
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 644 ~/.ssh/authorized_keys

最后修改文件权限（默认664）的操作很重要，因为如果其他用户有authorized_keys文件的写权限，ssh就不会基于该文件进行无密码登陆（安全起见）。完成上述操作后，可以验证一下是否可以进行无密码登陆：

ssh 192.168.100.1 # should not be prompted to enter the password

基于MPI的计算集群需要在不同计算机之间进行通讯，为简化后续操作，我关闭并禁用了系统的防火墙，具体命令如下：

sudo systemctl stop firewalld.service
sudo systemctl disable firewalld.service

这种方式比较简单暴力，但确实是存在一些安全隐患的，不知道有没有更好的解决方案？

MPICH的安装

首先从MPICH的官网（http://www.mpich.org/）下载安装包，我这里用的是3.2版本的MPICH，给出下载路径：

http://www.mpich.org/static/downloads/3.2/mpich-3.2.tar.gz

下载完成后，解压、编译、安装命令如下：

tar -xvf mpich-3.2.tar.gz
cd mpich-3.2
./configure --prefix=/opt/mpich --with-pm=hydra --with-mpe
make -j8
sudo make install

其中第3步指定了安装路径为/opt/mpich，选择hydra作为MPICH的进程管理器（Process Manager）；第4步调用了多个线程以加快编译（可以根据自己的CPU核心数调整）；第5步是将编译得到的文件复制到安装路径中，即/opt/mpich。

接下来，编写hydra的配置文件（/etc/hydra/hosts），内容如下：

192.168.100.0:4
192.168.100.1:4

每一行对应一台计算机，冒号前是IP地址，冒号后是使用的CPU核心数量。

接下来，在~/.bashrc文件中加入相应的环境变量：

export MPI_ROOT=/opt/mpich
export PATH=$MPI_ROOT/bin:$PATH
export MANPATH=$MPI_ROOT/bin:$MANPATH
export HYDRA_HOST_FILE=/etc/hydra/hosts

然后更新环境变量：

source ~/.bashrc

至此，MPICH已经安装完毕，可以通过如下命令测试配置是否正确：

mpiexec -n 8 hostname

正常情况下，应当会输出两台计算机各自的hostname，每个重复四次（共8行输出）。

MPI4PY的安装

同样的，从MPI4PY的官网（http://pythonhosted.org/mpi4py/）下载安装包，地址为：

https://bitbucket.org/mpi4py/mpi4py/downloads/mpi4py-2.0.0.tar.gz

下载完成后，编译安装：

tar -xvf mpi4py-2.0.0.tar.gz
cd mpi4py-2.0.0
python setup.py install
sudo python setup.py install

注意在执行第3步之前，需要先修改mpi.cfg文件，根据自身情况，把[mpi]下面的路径设置好。第3步执行会出错，但是没关系，这时已经编译完毕了，只是向系统目录安装时遇到了权限不足的问题，接着执行第4步就可以了。编译过程没有必要使用sudo权限，所以这里分成了两步。编译过程依赖于python-devel，安装命令如下：

sudo yum install python-devel.x86_64

然后就可以测试MPI4PY的安装是否正常了：

mpiexec -n 8 python -m mpi4py helloworld

理想情况下，这里应该输出8行的helloworld，分别由8个线程输出。