python多进程(加入进程池)操作常见案例
2019-10-21 18:05
1416 查看
本文实例讲述了python多进程(加入进程池)操作。分享给大家供大家参考,具体如下:
一、多进程复制多个文件
import multiprocessing import os import time # 复制文件,传入文件名 def copy_file(old_file_name, old_name): new_file_name = 'new_file' new_name = old_name if not os.path.exists(new_file_name): os.makedirs(new_file_name) with open(old_file_name + '/' + old_name, 'rb') as f: file_content = f.read() with open(new_file_name + '/' + new_name, 'wb') as f: f.write(file_content) if __name__ == '__main__': old_file_name = 'old_file' name_list = os.listdir(old_file_name) time_old = time.time() for name in name_list: process = multiprocessing.Process(target=copy_file, args=(old_file_name, name)) process.start() time_new = time.time() print('执行时间:%f' % (time_new - time_old))
二、优化加入进程池,并显示复制进度:
import multiprocessing import os import time # 复制文件,传入文件名 def copy_file(old_file_name, old_name, queue): new_file_name = 'new_file' new_name = old_name if not os.path.exists(new_file_name): os.makedirs(new_file_name) with open(old_file_name + '/' + old_name, 'rb') as f: file_content = f.read() with open(new_file_name + '/' + new_name, 'wb') as f: f.write(file_content) queue.put(new_file_name) if __name__ == '__main__': old_file_name = 'old_file' #存放文件的文件名 name_list = os.listdir(old_file_name) #取出所有文件的文件名 queue = multiprocessing.Manager().Queue() #创建队列对象,用于计算复制完成百分比 po = multiprocessing.Pool(3) #创建线程池 time_old = time.time() #用于计算花费时间 for name in name_list: po.apply_async(copy_file, (old_file_name, name, queue)) po.close() index = 0 while True: index += 1 queue.get() print('\r以保存%.2f%%' % ((index / len(name_list)) * 100), end='') if index == len(name_list): break time_new = time.time() print('执行时间:%f' % (time_new - time_old))
三、多进程聊天器:
import multiprocessing import socket import threading # 需求: # 1.主进程创建一个TCPconnect # 2.主进程connect后创建进程开启一个新的Socketconnect # 3.进程里创建线程不断的接收和提示发送消息 # 有连接时新创建一个进程处理聊天 def speak_send(tcp_msg): while True: test = input('请输入要发送的消息') tcp_msg.send(test.encode('utf-8')) def speak_rec(tcp_msg): while True: print(tcp_msg.recv(1024).decode('gbk')) # 开启的进程聊天 def speak_process(tcp_sock, tcp_msg, ip): print('开启进程') # 5.开线程循环接收消息 msg_rec = threading.Thread(target=speak_rec, args=(tcp_msg,)) # print(tcp_msg.recv(1024).decode('gbk')) # 6.开线程循环发送消息 msg_send = threading.Thread(target=speak_send, args=(tcp_msg,)) msg_rec.start() msg_send.start() msg_rec.join() msg_send.join() # 7.关闭 # tcp_msg.close() def main(): # 1创建TCP对象 tcp_sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 2.绑定ip和端口 tcp_sock.bind(('', 9999)) # 3.改主动为被动 tcp_sock.listen(128) # 4.accept接收msg和ip while True: tcp_msg, ip = tcp_sock.accept() process = multiprocessing.Process(target=speak_process, args=(tcp_sock, tcp_msg, ip)) process.start() if __name__ == '__main__': main()
更多关于Python相关内容感兴趣的读者可查看本站专题:《Python进程与线程操作技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》、《Python+MySQL数据库程序设计入门教程》及《Python常见数据库操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
您可能感兴趣的文章:
- Python多进程并发(multiprocessing)用法实例详解
- 浅析Python中的多进程与多线程的使用
- Python多进程通信Queue、Pipe、Value、Array实例
- Python中使用多进程来实现并行处理的方法小结
- Python多进程同步Lock、Semaphore、Event实例
- Python控制多进程与多线程并发数总结
- Python多线程、异步+多进程爬虫实现代码
- 简单谈谈python中的Queue与多进程
- python 多进程通信模块的简单实现
- Python多进程库multiprocessing中进程池Pool类的使用详解
- 详解python之多进程和进程池(Processing库)
- Python自定义进程池实例分析【生产者、消费者模型问题】
相关文章推荐
- 20181009python多进程(加入进程池)操作
- Python多进程操作-进程池(Pool)
- 三十五、python学习之Flask框架(七)数据库:Flask对数据库的基本操作、常见关系模板、数据库迁移、综合案例:图书管理
- python多进程操作-进程池
- 初学python之字符串常见操作
- 【代码学习】PYTHON字符串的常见操作
- python2 浮点数操作常见“陷阱”
- Python中字符串的常见操作技巧总结
- python下标索引、字符串常见操作
- python操作mysql方法和常见问题
- Python常见文件操作的函数示例
- Python常见文件操作的函数示例
- Python3 字符串常见操作
- Python常见数据类型转换操作示例
- # Python常见字符串操作函数小结【split()、join()、strip()】
- Python - Numpy 常见操作总结
- python中的常见的列表操作及注意事项
- python2 浮点数操作常见“陷阱”
- Python常见文件操作的函数示例
- python的字符串(String)及其常见操作(方法、函数)