Python基于进程池实现多进程过程解析
2020-05-01 12:06
148 查看
1、注意:pool必须在 if __name__ == '__main__' 下面运行,不然会报错
2、多进程内出现错误会直接跳过该进程,并且默认不会打印错误信息
3、if__name__下面的数据需要通过参数传入主函数里面,不然主函数获取不到该数据值而报错。
4、若不通过传参形式传入数据,可以定义全局变量。但是全局变量的值不能在多进程里面进行修改。
代码如下
from multiprocessing import Pool # 进程池,用于多进程 import os # 用于获取当前执行的文件名 import time import traceback # 用于捕获异常 import sys # 用于捕获异常 def main_func(i): # 多进程运行的函数 try: # 多进程中发生异常是不会打印错误信息,并且当前进程会直接跳过,所以异常需要自行捕获 rand_time = random.randint(1, 3) # 随机产生1~3的整数 time.sleep(rand_time ) print(i) except: current_filename = str(os.path.basename(sys.argv[0]))[:-3] # 获取当前文件名称 cur_err_filname = current_filename + '_error.txt' error_info = sys.exc_info() # 打印异常 with open(f'{cur_err_filname }', 'a') as f: error_str = f'{i}:ERROR OCCURRED,{time.strftime("%Y-%m-%d %H:%M:%S")}:\n {error_info[0]}: {error_info[1]}' # 记录当前进程特征值,错误发生时间 ,错误类型,错误概述 print(error_str, file=f) # 通过打印方式写入文件 traceback.print_tb(error_info[2], file=f) # 错误细节描述(包括bug的代码位置) f.write(f"{'=' * 50}\n") # 分行 if __name__ == '__main__': # 必须在此语句下面运行,不然会报错 pool = Pool(5) # 定义进程数量 for i in range(20): pool.apply_async(main_func, (i, )) # 调用函数执行多进程 pool.close() # 关闭进程池 pool.join() # 阻塞进程,此两部不能少,保证多进程正常运行
以上就是本文的全部内容,希望对大家的学习有所帮助
您可能感兴趣的文章:
相关文章推荐
- 基于Python实现签到脚本过程解析
- 基于Python实现大文件分割和命名脚本过程解析
- 基于python的BP神经网络及异或实现过程解析
- 基于Python实现ComicReaper漫画自动爬取脚本过程解析
- python实现-恒定数量进程池的echo server模型 基于multiprocessing
- python腾讯语音合成实现过程解析
- 深度学习入门基于python的理论与实现 4章gradient_simplenet.py 完全解析
- python进程池实现的多进程文件夹copy器完整示例
- Python 多进程_进程池_多线程_线程池实现比较
- python并发编程多进程 模拟抢票实现过程
- 基于js实现复制内容到操作系统粘贴板过程解析
- 基于python实现雪花算法过程详解
- 基于springboot实现整合shiro实现登录认证以及授权过程解析
- python实现迭代法求方程组的根过程解析
- Python实现网页截图(PyQT5)过程解析
- 基于python全局设置id 自动化测试元素定位过程解析
- python实现广度优先搜索过程解析
- 基于回归曲线拟合模型的ALS(最小二乘法)推导过程以及Python实现
- Python scrapy增量爬取实例及实现过程解析
- 基于Python检测动态物体颜色过程解析