Python中使用asyncio 封装文件读写
2016-09-11 00:00
886 查看
前言
和网络 IO 一样,文件读写同样是一个费事的操作。
默认情况下,Python 使用的是系统的阻塞读写。这意味着在 asyncio 中如果调用了
会阻塞事件循环。
本篇简述如何用 asyncio.Future 对象来封装文件的异步读写。
代码在 GitHub。目前仅支持 Linux。
阻塞和非阻塞
首先需要将文件的读写改为非阻塞的形式。在非阻塞情况下,每次调用 read 都会立即返回,如果返回值为空,则意味着文件操作还未完成,反之则是读取的文件内容。
阻塞和非阻塞的切换与操作系统有关,所以本篇暂时只写了 Linux 版本。如果有过 Unix 系统编程经验,会发现 Python 的操作是类似的。
Future 对象
Future 对象类似 Javascript 中的 Promise 对象。它是一个占位符,其值会在将来被计算出来。我们可以使用
在 future 得到值之后返回。而使用
就可以设置 future 的值,也意味着 future 可以被返回了。await 操作符会自动调用 future.result() 来得到值。
loop.call_soon
通过 loop.call_soon 方法可以将一个函数插入到事件循环中。
至此,我们的异步文件读写思路也就出来了。通过 loop.call_soon 调用非阻塞读写文件的函数。若一次文件读写没有完成,则计算剩余所学读写的字节数,并再次插入事件循环直至读写完毕。
可以发现其就是把传统 Unix 编程里,非阻塞文件读写的 while 循环换成了 asyncio 的事件循环。
下面是这一过程的示意代码。
在Python3中使用asyncio库进行快速数据抓取的教程
asyncio 的 coroutine对象 与 Future对象使用指南
基于asyncio 异步协程框架实现收集B站直播弹幕
和网络 IO 一样,文件读写同样是一个费事的操作。
默认情况下,Python 使用的是系统的阻塞读写。这意味着在 asyncio 中如果调用了
f = file('xx') f.read()
会阻塞事件循环。
本篇简述如何用 asyncio.Future 对象来封装文件的异步读写。
代码在 GitHub。目前仅支持 Linux。
阻塞和非阻塞
首先需要将文件的读写改为非阻塞的形式。在非阻塞情况下,每次调用 read 都会立即返回,如果返回值为空,则意味着文件操作还未完成,反之则是读取的文件内容。
阻塞和非阻塞的切换与操作系统有关,所以本篇暂时只写了 Linux 版本。如果有过 Unix 系统编程经验,会发现 Python 的操作是类似的。
flag = fcntl.fcntl(self.fd, fcntl.F_GETFL) if fcntl.fcntl(self.fd, fcntl.F_SETFL, flag | os.O_NONBLOCK) != 0: raise OSError()
Future 对象
Future 对象类似 Javascript 中的 Promise 对象。它是一个占位符,其值会在将来被计算出来。我们可以使用
result = await future
在 future 得到值之后返回。而使用
future.set_result(xxx)
就可以设置 future 的值,也意味着 future 可以被返回了。await 操作符会自动调用 future.result() 来得到值。
loop.call_soon
通过 loop.call_soon 方法可以将一个函数插入到事件循环中。
至此,我们的异步文件读写思路也就出来了。通过 loop.call_soon 调用非阻塞读写文件的函数。若一次文件读写没有完成,则计算剩余所学读写的字节数,并再次插入事件循环直至读写完毕。
可以发现其就是把传统 Unix 编程里,非阻塞文件读写的 while 循环换成了 asyncio 的事件循环。
下面是这一过程的示意代码。
def read_step(self, future, n, total): res = self.fd.read(n) if res is None: self.loop.call_soon(self.read_step, future, n, total) return if not res: # EOF future.set_result(bytes(self.rbuffer)) return self.rbuffer.extend(res) self.loop.call_soon(self.read_step, future, self.BLOCK_SIZE, total) def read(self, n=-1): future = asyncio.Future(loop=self.loop) self.rbuffer.clear() self.loop.call_soon(self.read_step, future, min(self.BLOCK_SIZE, n), n) return future
您可能感兴趣的文章:
探索Python3.4中新引入的asyncio模块在Python3中使用asyncio库进行快速数据抓取的教程
asyncio 的 coroutine对象 与 Future对象使用指南
基于asyncio 异步协程框架实现收集B站直播弹幕
相关文章推荐
- Python中使用asyncio 封装文件读写
- 【python下使用OpenCV实现计算机视觉读书笔记3】读写视频文件
- python文件读写并使用mysql批量插入示例分享(python操作mysql)
- 使用Python进行二进制文件读写的简单方法(推荐)
- python使用codecs模块进行文件操作-读写中英文字符
- 使用py2exe对Python文件进行封装生成exe文件
- 使用Python进行二进制文件读写(转)
- Python使用自带的ConfigParser模块读写ini配置文件
- python3使用csv模块读写csv文件
- 使用Python读写及压缩和解压缩文件的示例
- Python使用openpyxl读写excel文件
- 使用os.popen/commands.getoutput查询指定端口号的服务 分类: python 小练习 open()文件读写 python基础学习 2013-09-17 17:49 798人阅读 评论(0) 收藏
- python使用csv模块读写csv文件
- 使用Python读写XML文件
- Python中使用不同编码读写txt文件详解
- 使用泛型对读写配置文件的方法进行封装
- 如何使用Python3读写INI配置文件
- python 列表 字典 读写文件:pickle模块的基本使用
- python 6-5 如何读写excel文件 使用第三方库xlrd 和 xlwt,这两个库分别用于excel读和写
- 经常使用的一个python logging封装,支持同时向console和文件输出