分享一个简单易用的python并行模块【PP模块】
2016-06-08 10:57
585 查看
目前个人计算机大都是多核的,但是在运行python程序的时候会发现实际上只有一个核心(CPU)在跑代码,另外几个核心都在偷懒呢,如下图 并行计算的目的是将所有的核心都运行起来以提高代码的执行速度,在python中由于存在全局解释器锁(GIL)如果使用默认的python多线程进行并行计算可能会发现代码的执行速度并不会加快,甚至会比使用但核心要慢!!! 一些并行模块通过修改pyhton的GIL机制突破了这个限制,使得Python在多核电脑中也能够有效的进行并行计算。PP(Parallel Python)模块就是其中一种。 pp模块是python的一个轻量级并行模块,能够有效提高程序运行效率,使用非常方便。 下面这段测试代码是计算从0到给定范围内所有质数的和,即计算0~100000,0~100100,... ,0~100700这8个范围内的所有质数的和: import pp,time,math def isprime(n): """Returns True if n is prime and False otherwise""" if not isinstance(n, int): raise TypeError("argument passed to is_prime is not of 'int' type") if n < 2: return False if n == 2: return True max = int(math.ceil(math.sqrt(n))) i = 2 while i <= max: if n % i == 0: return False i += 1 return True def sum_pimes(n): """Calculates sum of all primes below given integer n""" return sum([x for x in range(2, n) if isprime(x)]) #串行代码 print("{beg}串行程序{beg}".format(beg='-'*16)) startTime = time.time() inputs = (100000, 100100, 100200, 100300, 100400, 100500, 100600, 100700) results = [ (input,sum_primes(input)) for input in inputs ] for input, result in results: print("Sum of primes below %s is %s" % (input, result)) print("用时:%.3fs"%( time.time()-startTime ) ) #并行代码 print("{beg}并行程序{beg}".format(beg='-'*16)) startTime = time.time() job_server = pp.Server() inputs = (100000, 100100, 100200, 100300, 100400, 100500, 100600, 100700) jobs = [(input, job_server.submit(sum_primes, (input, ), (isprime, ), ("math", )) ) for input in inputs] for input, job in jobs: print("Sum of primes below %s is %s" % (input, job())) print("用时:%.3fs"%( time.time()-startTime ) ) 复制代码 运行效果图: 由于楼主的电脑是伪4核(实际是2核,由于intel使用了超线程把它变成了4核的样子),因此效率只是提高了两倍,不过也还是不错了~ 理论上你的电脑中实际有多少的个核心,通过并行计算就能提高多少被效率(实际的提高倍速会低一点)。 可以看到并行代码只是比串行代码多了几行,然而效率就翻倍了,看到这各位鱼油有木有动心呢 下面就开始正式介绍这个模块了 一:安装 1.从官网下载对应版本的PP模块:http://www.parallelpython.com/content/view/18/32/ 我的系统是Windows,python版本是3.4.4因此选择了下面这个版本 2.在解压目录下打开命令行,输入python setup.py install就自动开始安装了(就是这么简单 ) 二:使用 1.导入模块 import pp 复制代码 2.开启服务 job_server = pp.Server() #ncpus = 4 #可以自己指定使用的核心数 #job_server = pp.Server(ncpus) #创建服务 #默认为使用全部核心 复制代码 3.提交任务 f1 = job_server.submit(func1, args1, depfuncs1, modules1) #func1: 被并行执行的函数 #args1: func的参数,以元组的形式传入 #depfuncs1: 被func调用的函数,以元组的形式传入 #modules1: 函数执行需要调用的模块,以元组的形式传入 复制代码 4.获取结果 r1 = f1() 复制代码 下面根据之前的测试例子解释下pp模块的使用 子程序 math def isprime(n): if not isinstance(n, int): raise TypeError("argument passed to is_prime is not of 'int' type") if n < 2: return False if n == 2: return True max = int(math.ceil(math.sqrt(n))) i = 2 while i <= max: if n % i == 0: return False i += 1 return True def sum_pimes(n): return sum([x for x in range(2, n) if isprime(x)]) 复制代码 主程序 import pp job_server = pp.Server() inputs = (100000, 100100, 100200, 100300, 100400, 100500, 100600, 100700) jobs = [(input, job_server.submit(sum_primes, (input, ), (isprime, ), ("math", )) ) for input in inputs] for input, job in jobs: print("Sum of primes below %s is %s" % (input, job())) 复制代码 第1行:导入pp模块 第2行:开启pp服务,没有填参数表示使用全部核心进行计算 第3行:设定任务,即程序需要计算0~100000,0~100100,... ,0~100700这8个范围内的所有质数的和 第4行:是一个列表推导式,它的作用是将inputs中的值传递给sum_primes,并且执行job_server.submit函数。 在job_server.submit的参数: - sum_primes为被并行执行的函数,注意这里不能写成sum_primes() - (input,)为sum_primes的参数即100000,100100,...,100700。注意这里要以元组形式传入,而","是元组的标志,因此括号中的逗号不能漏了 - (isprime,)是sum_primes执行过程中需要用到的函数,以元组形式传入 - ("math",)是sum_primes或isprime函数中需要用到的模块,以元组形式传入 复制代码 最后两行:执行完第四行后得到的jobs列表中的每个元素都是一个二元组即(input,func)的形式。这两行的意思就是循环调用func,并打印结果。(通过函数调用的方式获取并行计算结果) 到这里一个使用pp模块进行并行计算的代码就实现了(并行计算就是如此简单 )。 随着任务的需求不同,代码量也会有所变化,不过基本过程就是以上四步。 |
相关文章推荐
- python 四种数值类型(int,long,float,complex)介绍
- 深入解析Python中的WSGI接口
- 第一个python小程序
- python利用selenium获取cookie实现免登陆
- Python - enumerate
- python 计算两个日期间的小时数
- Python之最大公约数和最小公倍数
- python3+任务计划实现的人人影视网站自动签到
- Python之中位数
- python & pandas链接mysql数据库
- 利用python进行数据分析-pandas入门2
- python安装ez_setup.py 【windows环境】
- Python while 循环使用实例
- Python数据类型转换
- python中的for循环如何控制步长
- python计算文件的行数和读取指定行的内容
- "Python" + "OpenCV" 环境配置
- python sqlalchemy 写数据
- [转]LIBSVM-3.18在python环境下的使用
- windows安装theano