检测Python程序执行效率及内存和CPU使用的7种方法
2014-12-20 00:09
746 查看
检测Python程序执行效率及内存和CPU使用的7种方法
在运行复杂的Python程序时,执行时间会很长,这时也许想提高程序的执行效率。但该怎么做呢?首先,要有个工具能够检测代码中的瓶颈,例如,找到哪一部分执行时间比较长。接着,就针对这一部分进行优化。
同时,还需要控制内存和CPU的使用,这样可以在另一方面优化代码。
因此,在这篇文章中我将介绍7个不同的Python工具,来检查代码中函数的执行时间以及内存和CPU的使用。
1. 使用装饰器来衡量函数执行时间
有一个简单方法,那就是定义一个装饰器来测量函数的执行时间,并输出结果:
2. 使用timeit模块
另一种方法是使用timeit模块,用来计算平均时间消耗。执行下面的脚本可以运行该模块。
在输出的末尾,可以看到以下结果:
如果不指定测试或重复次数,默认值为10次测试,每次重复5次。
3. 使用Unix系统中的time命令
然而,装饰器和timeit都是基于Python的。在外部环境测试Python时,unix time实用工具就非常有用。运行time实用工具:
real表示的是执行脚本的总时间
user表示的是执行脚本消耗的CPU时间。
sys表示的是执行内核函数消耗的时间。
注意:根据维基百科的定义,内核是一个计算机程序,用来管理软件的输入输出,并将其翻译成CPU和其他计算机中的电子设备能够执行的数据处理指令。
因此,Real执行时间和User+Sys执行时间的差就是消耗在输入/输出和系统执行其他任务时消耗的时间。
4. 使用cProfile模块
如果想知道每个函数和方法消耗了多少时间,以及这些函数被调用了多少次,可以使用cProfile模块。读者会发现执行脚本所需的总时间比以前要多。这是由于测量每个函数的执行时间这个操作本身也是需要时间。
5. 使用line_profiler模块
line_profiler模块可以给出执行每行代码所需占用的CPU时间。首先,安装该模块:
同样,由于需要检测执行时间,脚本的执行时间更长了。
6. 使用memory_profiler模块
memory_profiler模块用来基于逐行测量代码的内存使用。使用这个模块会让代码运行的更慢。安装方法如下:
从结果可以看出,内存使用是以MiB为单位衡量的,表示的mebibyte(1MiB = 1.05MB)。
7. 使用guppy包
最后,通过这个包可以知道在代码执行的每个阶段中,每种类型(str、tuple、dict等)分别创建了多少对象。安装方法如下:
通过在代码中将heap()放置在不同的位置,可以了解到脚本中的对象创建和删除操作的流程。
如果想学习更多关于Python代码速度优化方面的知识,我建议你去读这本书《High Performance Python:
Practical Performant Programming for Humans, september 2014.》
希望这篇文章能偶帮到你!^_^
>>> Python频道微信号:PythonCoder, 扫描加关注,碎片时间提升Python开发技能!
相关文章推荐
- 检测Python程序执行效率及内存和CPU使用的7种方法
- 10种检测Python程序运行时间、CPU和内存占用的方法
- 转载:10种检测Python程序运行时间、CPU和内存占用的方法
- 10种检测Python程序运行时间、CPU和内存占用的方法
- 使用优化器来提升Python程序的执行效率的教程
- 2款Python内存检测工具介绍和使用方法
- 检测Python程序运行时间和内存占用的方法
- python 实时得到cpu和内存的使用情况方法
- Python执行效率测试模块timei的使用方法与与常用Python用法的效率比较
- 2款Python内存检测工具介绍和使用方法
- 编写在Android的Linux系统中直接运行的可执行程序 - 检测CPU能力
- android 使用Dalvik的setTargetHeapUtilization 增强程序堆内存的处理效率
- 使用xcode4.2检测内存泄露leak的具体位置的两种方法总结
- 使用instrument检测ios程序内存问题
- 查看基于Android 系统单个进程内存、CPU使用情况的几种方法
- 使用 cx_freeze 把python程序编译成可执行文件
- 获取操作系统CPU及内存使用信息的另一种方法
- 使用valgrind检测Android native程序的内存
- 使用C语言获取程序的执行时间的方法-clock函数
- exe4j生成可执行程序的使用方法