您的位置:首页 > 数据库 > Memcache

python学习笔记 ---线程、进程、协程、队列、python-memcache、python-redis

2016-10-08 12:28 926 查看

一、线程

Threading用于提供线程相关的操作,线程是应用程序中工作的最小单元。

#!/usr/bin/env python
# -*- coding:utf-8 -*-
import threading
import time

def show(arg):
time.sleep(1)
print 'thread'+str(arg)

for i in range(10):
t = threading.Thread(target=show, args=(i,))
t.start()

print 'main thread stop'


上述代码创建了10个“前台”线程,然后控制器就交给了CPU,CPU根据指定算法进行调度,分片执行指令。

更多方法:

start            线程准备就绪,等待CPU调度
setName      为线程设置名称
getName      获取线程名称
setDaemon   设置为后台线程或前台线程(默认)

                   如果是后台线程,主线程执行过程中,后台线程也在进行,主线程执行完毕后,后台线程不论成功与否,均停止

                    如果是前台线程,主线程执行过程中,前台线程也在进行,主线程执行完毕后,等待前台线程也执行完成后,程序停止
join              逐个执行每个线程,执行完毕后继续往下执行,该方法使得多线程变得无意义
run              线程被cpu调度后自动执行线程对象的run方法



import threading
import time

class MyThread(threading.Thread):
def __init__(self,num):
threading.Thread.__init__(self)
self.num = num

def run(self):#定义每个线程要运行的函数

print("running on number:%s" %self.num)

time.sleep(3)

if __name__ == '__main__':

t1 = MyThread(1)
t2 = MyThread(2)
t1.start()
t2.start()


线程锁(Lock、RLock)

由于线程之间是进行随机调度,并且每个线程可能只执行n条执行之后,当多个线程同时修改同一条数据时可能会出现脏数据,所以,出现了线程锁 - 同一时刻允许一个线程执行操作。



#!/usr/bin/env python
#-*-coding:utf-8-*-
import threading
import time
NUM=10

def func(i,l):
global NUM
#上锁
l.acquire()
NUM -= 1
time.sleep(5)
print(NUM)
#开锁
l.release()

#lock=threading.Lock()
# lock=threading.RLock()
lock=threading.BoundedSemaphore(5)
for i in range(10):
# t=threading.Thread(target=func,args=(lock,))
t=threading.Thread(target=func,args=(i,lock,))
t.start()




#!/usr/bin/env python
#-*-coding:utf-8-*-
import threading
def func(i,e):
print(i)
e
4000
.wait()#检测是什么灯,
print(i+100)
event=threading.Event()

for i in range(10):
t=threading.Thread(target=func,args=(i,event,))
t.start()

#--------------
event.clear()#设置成红灯
inp=input('>>>')
if inp == "1":
event.set()#设置成绿灯




#!/usr/bin/env python
#-*-coding:utf-8-*-
#第一种
import threading

def condition():
ret = False
r = input('>>>')
if r == 'true':
ret = True
else:
ret = False
return ret

def func(i,con):
print(i)
con.acquire()
con.wait_for(condition)
print(i+100)
con.release()

c = threading.Condition()
for i in range(10):
t = threading.Thread(target=func, args=(i,c,))
t.start()
#第二种
import threading
def func(i,con):
print(i)
con.acquire()
con.wait()
print(i+100)
con.release()

c = threading.Condition()
for i in range(10):
t = threading.Thread(target=func, args=(i,c,))
t.start()

while True:
inp = input('>>>')
if inp == 'q':
break
c.acquire()
c.notify(int(inp))
c.release()
from threading import Timer

def hello():
print("hello, world")

t = Timer(1, hello)
t.start()  # after 1 seconds, "hello, world" will be printed




#互斥锁 同时只允许一个线程更改数据,而Semaphore是同时允许一定数量的线程更改数据 ,比如厕所有3个坑,那最多只允许3个人上厕所,后面的人只能等里面有人出来了才能再进去。

import threading,time

def run(n):
semaphore.acquire()
time.sleep(1)
print("run the thread: %s" %n)
semaphore.release()

if __name__ == '__main__':

num= 0
semaphore  = threading.BoundedSemaphore(5) #最多允许5个线程同时运行
for i in range(20):
t = threading.Thread(target=run,args=(i,))
t.start()


二、进程

 注意:由于进程之间的数据需要各自持有一份,所以创建进程需要的非常大的开销。

进程间的数据共享

 

# from multiprocessing import Array




'c': ctypes.c_char,  'u': ctypes.c_wchar,
'b': ctypes.c_byte,  'B': ctypes.c_ubyte,
'h': ctypes.c_short, 'H': ctypes.c_ushort,
'i': ctypes.c_int,   'I': ctypes.c_uint,
'l': ctypes.c_long,  'L': ctypes.c_ulong,
'f': ctypes.c_float, 'd': ctypes.c_double


进程锁实例:

 进程池

进程池内部维护一个进程序列,当使用时,则去进程池中获取一个进程,如果进程池序列中没有可供使用的进进程,那么程序就会等待,直到进程池中有可用进程为止。

进程池中有两个方法:

apply
apply_async

 三、协程

 线程和进程的操作是由程序触发系统接口,最后的执行者是系统;协程的操作则是程序员。

协程存在的意义:对于多线程应用,CPU通过切片的方式来切换线程间的执行,线程切换时需要耗时(保存状态,下次继续)。协程,则只使用一个线程,在一个线程中规定某个代码块执行顺序。

协程的适用场景:当程序中存在大量不需要CPU的操作时(IO),适用于协程;

 

四、队列

 五、python-memcache

Memcached安装,使用:

 

 六、redis

安装使用:

 

API使用

redis-py 的API的使用可以分类为:

连接方式
连接池
操作
String 操作
Hash 操作
List 操作
Set 操作
Sort Set 操作

管道
发布订阅
 

1、操作模式

redis-py提供两个类Redis和StrictRedis用于实现Redis的命令,StrictRedis用于实现大部分官方的命令,并使用官方的语法和命令,Redis是StrictRedis的子类,用于向后兼容旧版本的redis-py。

 2、连接池

redis-py使用connection pool来管理对一个redis server的所有连接,避免每次建立、释放连接的开销。默认,每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池,然后作为参数 Redis,这样就可以实现多个Redis实例共享一个连接池。

 3、操作

String操作,redis中的String在在内存中按照一个name对应一个value来存储。如图:

                                                                                               

                                                      



set(name, value, ex=None, px=None, nx=False, xx=False)

 setnx(name, value)

设置值,只有name不存在时,执行设置操作(添加)


 

setex(name, value, time)

get(name)

获取值


mget(keys, *args)

 getset(name, value)

设置新值并获取原来的值


 

getrange(key, start, end)

getbit(name, offset)

获取name对应的值的二进制表示中的某位的值 (0或1)


 

bitcount(key, start=None, end=None)

strlen(name)

# 返回name对应值的字节长度(一个汉字3个字节)


 

incr(self, name, amount=1)

Hash操作,redis中Hash在内存中的存储格式如下图:

                                      


hset(name, key, value)

lpushx(name,value)

 llen(name)

r.lset(name, index, value)

 r.lrem(name, value, num)

 lpop(name)

 lindex(name, index)

在name对应的列表中根据索引获取列表元素


 

lrange(name, start, end)

 ltrim(name, start, end)

 rpoplpush(src, dst)

 blpop(keys, timeout)

 brpoplpush(src, dst, timeout=0)

 自定义增量迭代

 

Set操作,Set集合就是不允许重复的列表

sadd(name,values)

# name对应的集合中添加元素


 

scard(name)

获取name对应的集合中元素个数


 

sdiff(keys, *args)

在第一个name对应的集合中且不在其他name对应的集合的元素集合


 

sdiffstore(dest, keys, *args)

# 获取第一个name对应的集合中且不在其他name对应的集合,再将其新加入到dest对应的集合中


 

sinter(keys, *args)

# 获取多一个name对应集合的并集


 

sinterstore(dest, keys, *args)

# 获取多一个name对应集合的并集,再讲其加入到dest对应的集合中


 

sismember(name, value)

# 检查value是否是name对应的集合的成员


 

smembers(name)

# 获取name对应的集合的所有成员


 

smove(src, dst, value)

# 将某个成员从一个集合中移动到另外一个集合


 

spop(name)

# 从集合的右侧(尾部)移除一个成员,并将其返回


 

srandmember(name, numbers)

# 从name对应的集合中随机获取 numbers 个元素


 

srem(name, values)

# 在name对应的集合中删除某些值


 

sunion(keys, *args)

# 获取多一个name对应的集合的并集


 

sunionstore(dest,keys, *args)

# 获取多一个name对应的集合的并集,并将结果保存到dest对应的集合中


 

sscan(name, cursor=0, match=None, count=None)

sscan_iter(name, match=None, count=None)

# 同字符串的操作,用于增量迭代分批获取元素,避免内存消耗太大


 

有序集合,在集合的基础上,为每元素排序;元素的排序需要根据另外一个值来进行比较,所以,对于有序集合,每一个元素有两个值,即:值和分数,分数专门用来做排序。

zadd(name, *args, **kwargs)

 zcard(name)

zrank(name, value)

 zrangebylex(name, min, max, start=None, num=None)

 zrem(name, values)

 zremrangebyrank(name, min, max)

4、管道

redis-py默认在执行每次请求都会创建(连接池申请连接)和断开(归还连接池)一次连接操作,如果想要在一次请求中指定多个命令,则可以使用pipline实现一次请求指定多个命令,并且默认情况下一次pipline 是原子性操作。

 5、发布订阅



Demo如下:

 订阅者:

 发布者:

 更多参见:https://github.com/andymccurdy/redis-py/
http://doc.redisfans.com/
 
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: