Python并行计算pp模块实践笔记

最近已集群模式适用了下Python并行计算的pp模块，例子为官方的计算素数的和，特记录如下：

环境如下（三节点，每个节点先pip install pp安装pp模块）：

 node-1 任务发起方

 node-4，node-6  任务执行方，ppserver，运行ppserver.py

1、node-4和node-6 运行ppserver.py的脚本，以自动发现模式运行，通过debug输出，可以发现自动发现是通过广播机制实现的



2、node-1上面运行计算素数脚本，脚本中ppservers写为(“*”,)

#!/usr/bin/env python

# -*- coding: utf-8 -*-

# @Software: PyCharm

import pp

import math,sys,time

def IsPrime(n):

    if not isinstance(n,int):

        raise TypeError("must be a int")

    if n<2:

        return False

    if n==2:

        return True

    max= int(math.ceil(math.sqrt(n)))

    i=2

    while i<=max:

        if n%i==0:

            return False

        i+=1

    return True

def sum_primes(n):

    return sum([x for x in xrange(2,n) if IsPrime(x)])

def usage():

    print '''

    Usage: python sum_primes.py [ncpus]

    [ncpus] - the number of workers to run in parallel,

    if omitted it will be set to the number of processors in the system

    '''

ppservers=("*",)                #自动发现ppserver

if len(sys.argv)>1:

    num=sys.argv[1]

    job_server=pp.Server(ncpus=int(num),ppservers=ppservers)

else:

    job_server=pp.Server(ppservers=ppservers)

print "start pp with",job_server.get_ncpus(),"workers"

# job1=job_server.submit(func=sum_primes,args=(300,),depfuncs=(IsPrime,),modules=("math",))

start_time = time.time()

inputs = (10000000, 10010000, 10020000, 10030000, 10040000, 10050000, 10060000, 10070000,10060001,10080002)

jobs = [(input, job_server.submit(sum_primes,(input,), (IsPrime,), ("math",))) for input in inputs]

for input, job in jobs:

    print "Sum of primes below", input, "is", job()

print "Time elapsed: ", time.time() - start_time, "s"

job_server.print_stats()

脚本运行后，通过node-4和node-6的日志输出，可以发现已经开始接收执行任务


通过top命令可以发现计算任务开始执行(ppworker)，cpu负载达到100%





3 node-1上面的命令执行结果，我们发现10个素数的计算任务，node-6分配了8个(IP为172.16.20.6)，node-4分配了2个(IP为17216.20.4)---(参照官方文档，ncpus指定为0，node-1本身不参与实际的计算)



参考：
http://www.parallelpython.com/  官方网站