Parallel Python——一个简单的分布式计算系统
2015-07-28 18:11
549 查看
如何建立一个高速的分布式计算平台?Parallel python此目的。
Parallel Python(http://www.parallelpython.com/content/view/15/30/#QUICKCLUSTERS)是Python进行分布式计算的开源模块。可以将计算压力分布到多核CPU或集群的多台计算机上。可以很方便的在内网中搭建一个自组织的分布式计算平台。
在不同节点执行server程序,并自己主动发现执行server的节点。命令例如以下:
node-1> ./ppserver.py -a
node-2> ./ppserver.py -a
node-3> ./ppserver.py -a
client
import pp
ppservers=("*",) #自己主动发现模式
job_server = pp.Server(ppservers=ppservers)
提交运行的任务
f1 = job_server.submit(func1, args1, depfuncs1, modules1)
f2 = job_server.submit(func1, args2, depfuncs1, modules1)
f3 = job_server.submit(func2, args3, depfuncs2, modules2)
检索结果
r1 = f1()
r2 = f2()
r3 = f3()
Parallel Python(http://www.parallelpython.com/content/view/15/30/#QUICKCLUSTERS)是Python进行分布式计算的开源模块。可以将计算压力分布到多核CPU或集群的多台计算机上。可以很方便的在内网中搭建一个自组织的分布式计算平台。
在不同节点执行server程序,并自己主动发现执行server的节点。命令例如以下:
node-1> ./ppserver.py -a
node-2> ./ppserver.py -a
node-3> ./ppserver.py -a
client
import pp
ppservers=("*",) #自己主动发现模式
job_server = pp.Server(ppservers=ppservers)
提交运行的任务
f1 = job_server.submit(func1, args1, depfuncs1, modules1)
f2 = job_server.submit(func1, args2, depfuncs1, modules1)
f3 = job_server.submit(func2, args3, depfuncs2, modules2)
检索结果
r1 = f1()
r2 = f2()
r3 = f3()
相关文章推荐
- python基础教程总结15——5 虚拟茶话会
- Python操作Word批量生成文章的方法
- python 问题调试1
- Python什么是值或引用函数参数
- Python 之 获取聚类中心与其支撑点的方法
- 90 行 Python 搭一个音乐搜索工具
- 一个简单的python连接池,以及DBUtil.PooledDB的使用
- [译]Python编写虚拟解释器
- python使用win32com的心得
- python 之queue
- Python 练习册,每天一个小程序
- 如何修改python IDLE代码及语法主题 配色——拷贝的是别人喜欢的,来学会调试自己喜欢的颜色吧
- Python判断变量类型
- zend studio(Eclipse)和PyDev搭建Python开发环境
- python学习
- 用Python解析XML的几种常见方法的介绍
- Python 获取根据文件URL 获取文件的基本信息
- [原]有关Caffe训练好的模型在Python接口下使用分类不准确的问题解决
- [debug] debugging in python with pdb
- Python 2 和 Python 3 的区别和比较