python 分布式的简单实现
2017-04-14 15:45
260 查看
分布式多台机器互联的情况下 首要的问题是双方的通信问题。关闭防火墙 或者允许端口访问。 如果是在虚拟机里面 则要连同 主机也要关闭.
关闭防火墙方式:
CentOS Linux开启和关闭防火墙命令有两种,一种是临时的,重启即复原;另外一种是永久性的,重启不会复原。
首先关闭selinux 使用命令 getenforce 查询当前状态。 使用setenforce 0 关闭。不关闭无法访问。
1) 临时生效,重启后复原
开启: service iptables start
关闭: service iptables stop
2) 永久性生效,重启后不会复原
开启: chkconfig iptables on
关闭: chkconfig iptables off
代码案例来自廖学峰教程
注意其中的ip地址 要改为当前主机的ip. 如果只是在本机测试 则可以去廖学峰官网调用他的代码。他那是单机版本的。 以下代码可以在单机和多台机器上运行(关闭彼此防火墙后)
主机代码
分机代码
关闭防火墙方式:
CentOS Linux开启和关闭防火墙命令有两种,一种是临时的,重启即复原;另外一种是永久性的,重启不会复原。
首先关闭selinux 使用命令 getenforce 查询当前状态。 使用setenforce 0 关闭。不关闭无法访问。
1) 临时生效,重启后复原
开启: service iptables start
关闭: service iptables stop
2) 永久性生效,重启后不会复原
开启: chkconfig iptables on
关闭: chkconfig iptables off
代码案例来自廖学峰教程
注意其中的ip地址 要改为当前主机的ip. 如果只是在本机测试 则可以去廖学峰官网调用他的代码。他那是单机版本的。 以下代码可以在单机和多台机器上运行(关闭彼此防火墙后)
主机代码
# -*- coding:utf-8 -*- import Queue from multiprocessing.managers import BaseManager import random # 发送任务的队列: task_queue = Queue.Queue() # 接收结果的队列: result_queue = Queue.Queue() # 从BaseManager继承的QueueManager: class QueueManager(BaseManager): pass # 把两个Queue都注册到网络上, callable参数关联了Queue对象: QueueManager.register('get_task_queue', callable=lambda: task_queue) QueueManager.register('get_result_queue', callable=lambda: result_queue) # 绑定端口5000, 设置验证码'abc': manager = QueueManager(address=('10.10.1.14', 5000), authkey=b'abc') # 启动Queue: manager.start() # 获得通过网络访问的Queue对象: task = manager.get_task_queue() result = manager.get_re 4000 sult_queue() # 放几个任务进去: for i in range(10): n = random.randint(0, 10000) print('Put task %d...' % n) task.put(n) # 从result队列读取结果: print('Try get results...') for i in range(10): r = result.get(timeout=10) print('Result: %s' % r) # 关闭: manager.shutdown() print('master exit.')
分机代码
# -*- coding:utf-8 -*- import Queue import time, sys from multiprocessing.managers import BaseManager # 创建类似的QueueManager: class QueueManager(BaseManager): pass # 由于这个QueueManager只从网络上获取Queue,所以注册时只提供名字: QueueManager.register('get_task_queue') QueueManager.register('get_result_queue') # 连接到服务器,也就是运行task_master.py的机器: server_addr = '10.10.1.14' print('Connect to server %s...' % server_addr) # 端口和验证码注意保持与task_master.py设置的完全一致: m = QueueManager(address=(server_addr, 5000), authkey=b'abc') # 从网络连接: m.connect() # 获取Queue的对象: task = m.get_task_queue() result = m.get_result_queue() # 从task队列取任务,并把结果写入result队列: for i in range(10): try: n = task.get(timeout=1) print('run task %d * %d...' % (n, n)) r = '%d * %d = %d' % (n, n, n*n) time.sleep(1) result.put(r) except Queue.Empty: print('task queue is empty.') # 处理结束: print('worker exit.')
相关文章推荐
- Python使用multiprocessing实现一个最简单的分布式作业调度系统
- Python 用Redis简单实现分布式爬虫的方法
- Python使用multiprocessing实现一个最简单的分布式作业调度系统
- Python使用multiprocessing实现一个最简单的分布式作业调度系统
- 用python进行分布式网页数据抓取(三)—— 编码实现
- 用python或者perl实现简单的http服务器目录共享
- linux下简单的自适应CPU利用率的控制(Python实现)
- 最简单的Python singleton模式实现
- [python]有限状态机(FSM)简单实现
- python学习(1)--实现简单的服务器与客户端
- [python]有限状态机(FSM)简单实现
- python中如何简单的实现decorator模式--由django admin源码所得体会
- 用Python实现简单的HTTP服务器(1)--使用Firebug简单分析HTTP协议
- 一个简单的 python 实现 图片同步脚本 ,对于有图片群集的项目有参考价值
- python实现的简单的epub2txt
- KNN的简单实现(python)
- 转:C#实现简单分布式搜索--------希望有时间能好好研究一下
- 蛙蛙推荐:用c#实现一个简单的分布式搜索
- python设置检查点简单实现
- python用c/s实现服务器简单管理