Python中使用asyncio 封装文件读写
2016-09-11 09:51
543 查看
前言
和网络 IO 一样,文件读写同样是一个费事的操作。
默认情况下,Python 使用的是系统的阻塞读写。这意味着在 asyncio 中如果调用了
f = file('xx') f.read()
会阻塞事件循环。
本篇简述如何用 asyncio.Future 对象来封装文件的异步读写。
代码在 GitHub。目前仅支持 Linux。
阻塞和非阻塞
首先需要将文件的读写改为非阻塞的形式。在非阻塞情况下,每次调用 read 都会立即返回,如果返回值为空,则意味着文件操作还未完成,反之则是读取的文件内容。
阻塞和非阻塞的切换与操作系统有关,所以本篇暂时只写了 Linux 版本。如果有过 Unix 系统编程经验,会发现 Python 的操作是类似的。
flag = fcntl.fcntl(self.fd, fcntl.F_GETFL) if fcntl.fcntl(self.fd, fcntl.F_SETFL, flag | os.O_NONBLOCK) != 0: raise OSError()
Future 对象
Future 对象类似 Javascript 中的 Promise 对象。它是一个占位符,其值会在将来被计算出来。我们可以使用
result = await future
在 future 得到值之后返回。而使用
future.set_result(xxx)
就可以设置 future 的值,也意味着 future 可以被返回了。await 操作符会自动调用 future.result() 来得到值。
loop.call_soon
通过 loop.call_soon 方法可以将一个函数插入到事件循环中。
至此,我们的异步文件读写思路也就出来了。通过 loop.call_soon 调用非阻塞读写文件的函数。若一次文件读写没有完成,则计算剩余所学读写的字节数,并再次插入事件循环直至读写完毕。
可以发现其就是把传统 Unix 编程里,非阻塞文件读写的 while 循环换成了 asyncio 的事件循环。
下面是这一过程的示意代码。
def read_step(self, future, n, total): res = self.fd.read(n) if res is None: self.loop.call_soon(self.read_step, future, n, total) return if not res: # EOF future.set_result(bytes(self.rbuffer)) return self.rbuffer.extend(res) self.loop.call_soon(self.read_step, future, self.BLOCK_SIZE, total) def read(self, n=-1): future = asyncio.Future(loop=self.loop) self.rbuffer.clear() self.loop.call_soon(self.read_step, future, min(self.BLOCK_SIZE, n), n) return future
您可能感兴趣的文章:
相关文章推荐
- Python中使用asyncio 封装文件读写
- 【python下使用OpenCV实现计算机视觉读书笔记3】读写视频文件
- python文件读写并使用mysql批量插入示例分享(python操作mysql)
- 使用Python进行二进制文件读写的简单方法(推荐)
- python使用codecs模块进行文件操作-读写中英文字符
- 使用py2exe对Python文件进行封装生成exe文件
- 使用Python进行二进制文件读写(转)
- Python使用自带的ConfigParser模块读写ini配置文件
- python3使用csv模块读写csv文件
- 使用Python读写及压缩和解压缩文件的示例
- Python使用openpyxl读写excel文件
- 使用os.popen/commands.getoutput查询指定端口号的服务 分类: python 小练习 open()文件读写 python基础学习 2013-09-17 17:49 798人阅读 评论(0) 收藏
- python使用csv模块读写csv文件
- 使用Python读写XML文件
- Python中使用不同编码读写txt文件详解
- 使用泛型对读写配置文件的方法进行封装
- 如何使用Python3读写INI配置文件
- python 列表 字典 读写文件:pickle模块的基本使用
- python 6-5 如何读写excel文件 使用第三方库xlrd 和 xlwt,这两个库分别用于excel读和写
- 经常使用的一个python logging封装,支持同时向console和文件输出