Python3 threading的多线程管理中的线程管理与锁
2018-01-28 14:22
357 查看
提到Python的多线程,大家都说鸡肋。至于为什么,一定又要说什么“GIL的全称是Global Interpreter Lock(全局解释器锁)”之类的解释了,哥书读的少,听不太懂,反正能让我们这种村里人看到同时跑了几个就行,至于什么多线程多进程,CPU是并行还是并发的,都随他去吧。
今天主要说一下threading模块的进程锁与进程管理内容。
用threading有几次,都是简单的有两个或者三个任务需要并发执行,比如服务器的主备等等,不用管它锁不锁的。但这次想用于管理几百个任务的依次并发,不得不看看了。
由于存在多个进程共同去修改某个数据的问题,所以必须要用到lock()
这东西比较简单,lock.acquire()用于添加锁,lock.release() 用于释放锁。太简单就不举例子了。
Semaphore 在内部存在一个计数器,在用户调用 acquire() 时,计数器 -1,release() 则+1
举个例子说明下吧,刚好用下下午的简单测试代码:
from selenium import webdriver
import threading
import time
import random
def first_test(url):
sem.acquire() # 注意要第一时间去修改计数器 这点很重要
firsttest = webdriver.Chrome()
try:
firsttest.get(url) # 发送get请求
time.sleep(random.randint(0, 50)) # 为了看清变化 random设置的比较大
except Exception as ErrorInfo:
print(ErrorInfo)
finally:
sem.release()
firsttest.close() # 关闭谷歌浏览器
if __name__ == '__main__':
url = 'http://www.cnblogs.com/Dracular/p/8365989.html'
sem = threading.Semaphore(3) # 设置线程阀值
for i in range(10):
t = threading.Thread(target=first_test, args=(url,))
t.start()
time.sleep(0.1)
while threading.active_count() != 1:
pass # print threading.active_count()
else:
print('### Selenium Jobs is over!!!###')
由于为了保证计数器的不为负(因为变成负数,就相当于阻塞了哦....),最好使用finally,来进行release()的修改....
好了,点滴积累......
今天主要说一下threading模块的进程锁与进程管理内容。
用threading有几次,都是简单的有两个或者三个任务需要并发执行,比如服务器的主备等等,不用管它锁不锁的。但这次想用于管理几百个任务的依次并发,不得不看看了。
先说下threading.lock()
由于存在多个进程共同去修改某个数据的问题,所以必须要用到lock()这东西比较简单,lock.acquire()用于添加锁,lock.release() 用于释放锁。太简单就不举例子了。
重点说下threading.Semaphore
Semaphore 在内部存在一个计数器,在用户调用 acquire() 时,计数器 -1,release() 则+1举个例子说明下吧,刚好用下下午的简单测试代码:
from selenium import webdriver
import threading
import time
import random
def first_test(url):
sem.acquire() # 注意要第一时间去修改计数器 这点很重要
firsttest = webdriver.Chrome()
try:
firsttest.get(url) # 发送get请求
time.sleep(random.randint(0, 50)) # 为了看清变化 random设置的比较大
except Exception as ErrorInfo:
print(ErrorInfo)
finally:
sem.release()
firsttest.close() # 关闭谷歌浏览器
if __name__ == '__main__':
url = 'http://www.cnblogs.com/Dracular/p/8365989.html'
sem = threading.Semaphore(3) # 设置线程阀值
for i in range(10):
t = threading.Thread(target=first_test, args=(url,))
t.start()
time.sleep(0.1)
while threading.active_count() != 1:
pass # print threading.active_count()
else:
print('### Selenium Jobs is over!!!###')
由于为了保证计数器的不为负(因为变成负数,就相当于阻塞了哦....),最好使用finally,来进行release()的修改....
好了,点滴积累......
相关文章推荐
- python:threading多线程模块-创建线程
- Python线程指南(线程的:原理、管理、多线程、实例)
- 多线程-threading和进程VS线程(python 版)
- python 线程简单使用----1利用threading 实现多线程
- python3.6 - threading 多线程编程进阶,线程间并发控制(2)
- python threading父进程不死,子线程不退出..如何才能使用完线程后回收线程?
- “死锁” 与 python多线程之threading模块下的锁机制
- [Python module]使用threading模块实现多线程编程一[综述]
- python threading模块使用 以及python多线程操作的实践(使用Queue队列模块)
- python多线程模块--threading三部曲(一)
- Python的多线程(threading)与多进程(multiprocessing )
- python 多线程中子线程和主线程相互通信
- python 多线程(threading)
- python多线程之线程锁三(同一时间允许多个线程)
- Python模块学习 ---- threading 多线程控制和处理
- Python并发编程(1):多线程编程之thread和threading
- Python threading.Semaphore 控制线程数
- Learning Python(17)--多线程编程之线程的局部变量
- python中的进程、线程(threading、multiprocessing、Queue、subprocess)
- python类库 - threading.Thread 与 多线程实现