Python通过Manager方式实现多个无关联进程共享数据的实现
2019-11-08 18:07
1881 查看
Python实现多进程间通信的方式有很多种,例如队列,管道等。
但是这些方式只适用于多个进程都是源于同一个父进程的情况。
如果多个进程不是源于同一个父进程,只能用共享内存,信号量等方式,但是这些方式对于复杂的数据结构,例如Queue,dict,list等,使用起来比较麻烦,不够灵活。
Manager是一种较为高级的多进程通信方式,它能支持Python支持的的任何数据结构。
它的原理是:先启动一个ManagerServer进程,这个进程是阻塞的,它监听一个socket,然后其他进程(ManagerClient)通过socket来连接到ManagerServer,实现通信。
manager.py代码,实现server和client两个类
# encoding=utf-8 __author__ = 'kevinlu1010@qq.com' ''' 进程间通信 ''' from multiprocessing.managers import BaseManager from multiprocessing import RLock MANAGER_PORT = 6000 MANAGER_DOMAIN = '0.0.0.0' MANAGER_AUTH_KEY = 'aaaaaaaaaaaaaaa' #定义一个Manager类 class InfoManager(BaseManager): pass class DictItem(): def __init__(self, ): self.items = dict() def set(self, key, value): self.items[key] = value def get(self, key): return self.items.get(key) def __setitem__(self, key, value): self.set(key, value) #为这个manager类注册存储容器,也就是通过这个manager类实现的共享的变量, #这个变量最好是一个类实例,自己定义的或者python自动的类的实例都可以 #这里不能把d改成dict(),因为Client那边执行d['keyi']='value'的时候会报错:d这个变量不能修改 d = DictItem() lock = RLock() InfoManager.register('dict', callable=lambda: d) InfoManager.register('open_qq_login_lock', callable=lambda: lock) class ManagerServer(): ''' multiprocess Manager服务类 ''' def __init__(self, domain, port, auth_key): self.domain = domain self.port = port self.auth_key = auth_key def start_manager_server(self): self.queue_manager = InfoManager(address=('', self.port), authkey=self.auth_key) # self.dict = self.queue_manager.dict() self.server = self.queue_manager.get_server() def run(self): self.start_manager_server() self.server.serve_forever() def stop(self): self.server.shutdown() self.is_stop = 1 class ManagerClient(): ''' 访问mutiprocess Manager的类 ''' def __init__(self, domain, port, auth_key): self.domain = domain self.port = port self.auth_key = auth_key # self.get_share_dict() self.info_manager = InfoManager(address=(self.domain, self.port), authkey=self.auth_key) self.info_manager.connect() def get_dict(self): # self.dict = m.dict() self.dict = self.info_manager.dict() return self.dict def get_open_qq_login_lock(self): self.open_qq_login_lock = self.info_manager.open_qq_login_lock() return self.open_qq_login_lock if __name__ == '__main__': pass
用法
1.启动一个ManagerServer,这个进程是阻塞的
import manager def run(): manager_server = manager.ManagerServer(manager.MANAGER_DOMAIN, manager.MANAGER_PORT, manager.MANAGER_AUTH_KEY) manager_server.run() if __name__ == '__main__': run()
2.实例化一个client,获取共享的变量
# 进程间共享变量 manager_client = manager.ManagerClient(manager.MANAGER_DOMAIN, manager.MANAGER_PORT, manager.MANAGER_AUTH_KEY) share_dict = manager_client.get_dict() open_qq_login_lock = manager_client.get_open_qq_login_lock()
注意:
对client获取的变量修改,不会影响server那边的变量,例如server中,client1获取变量params1,把它修改为params2,server那边的数据不会修改。如果要修改server的数据,需要调用server的方法,把server那边的数据刷新。
以上就是本文的全部内容,希望对大家的学习有所帮助
您可能感兴趣的文章:
相关文章推荐
- 转发:Python通过Manager方式实现多个无关联进程共享数据
- Python通过Manager方式实现多个无关联进程共享数据
- Python 进程线程之间通信方式(2.1,共享数据实现进程之间通信)
- Python 进程线程之间通信方式(2,共享数据实现进程之间通信)
- 通过自定义区段实现进程间的数据共享
- Python多进程编程-进程间共享数据(Value、Array、Manager)
- 11.python并发入门(part10 多进程之间实现通信,以及进程之间的数据共享)
- Python无关联进程共享数据
- Python程序中的进程操作-进程间数据共享(multiprocess.Manager)
- 【Demo 0115】内存映射方式实现进程间数据共享
- Python multiprocessing.Manager介绍和实例(进程间共享数据)
- 通过内存映射文件实现进程间数据共享
- 不同进程通过共享内存实现数据共享
- Python multiprocessing.Manager介绍和实例(进程间共享数据)
- 共享内存 —— 通过SharedPreferences实现进程间数据共享的问题详解
- python 进程间数据共享multiProcess.Manger实现解析
- 通过SharedPreferences实现进程间数据共享的问题详解
- Python 进程操作之进程间通过队列共享数据,队列Queue简单示例
- Python多任务(五)-----4种进程间的通信(数据交换)Queue对象、管道Pipe、共享内存Value和Array、Manager对象 详解
- Python实现多进程共享数据的方法分析