Python性能分析指南
2015-10-19 09:40
435 查看
虽然你所写的每个Python程序并不总是需要严密的性能分析,但是当这样的问题出现时,如果能知道Python生态系统中的许多种工具,这样总是可以让人安心的。 分析一个程序的性能可以归结为回答4个基本的问题: 1.它运行的有多块? 2.那里是速度的瓶颈? 3.它使用了多少内存? 4.哪里发生了内存泄漏? 下面,我们将用一些很酷的工具,深入细节的回答这些问题。 | super0555 翻译于 2年前 1人顶 顶 翻译的不错哦! |
其它翻译版本(1) |
使用time工具粗糙定时首先,我们可以使用快速然而粗糙的工具:古老的unix工具time,来为我们的代码检测运行时间。? stackoverflow article 中有详细介绍。简单的说: real - 表示实际的程序运行时间 user - 表示程序在用户态的cpu总时间 sys - 表示在内核态的cpu总时间 通过sys和user时间的求和,你可以直观的得到系统上没有其他程序运行时你的程序运行所需要的CPU周期。 若sys和user时间之和远远少于real时间,那么你可以猜测你的程序的主要性能问题很可能与IO等待相关。 | 青崖白鹿 翻译于 2年前 1人顶 顶 翻译的不错哦! |
使用计时上下文管理器进行细粒度计时我们的下一个技术涉及访问细粒度计时信息的直接代码指令。这是一小段代码,我发现使用专门的计时测量是非常重要的:timer.py ? 这是一个使用上述代码片段的例子: ? | 袁不语 翻译于 2年前 1人顶 顶 翻译的不错哦! |
使用分析器逐行统计时间和执行频率Robert Kern有一个称作line_profiler的不错的项目,我经常使用它查看我的脚步中每行代码多快多频繁的被执行。想要使用它,你需要通过pip安装该python包: ? 想要使用该工具,首先修改你的源代码,在想要测量的函数上装饰@profile装饰器。不要担心,你不需要导入任何模组。kernprof.py脚本将会在执行的时候将它自动地注入到你的脚步的运行时。 primes.py ? ? ? | 袁不语 翻译于 2年前 2人顶 顶 翻译的不错哦! |
程序使用了多少内存?现在我们对计时有了较好的理解,那么让我们继续弄清楚程序使用了多少内存。我们很幸运,Fabian Pedregosa模仿Robert Kern的line_profiler实现了一个不错的内存分析器。首先使用pip安装: ? 就像line_profiler,memory_profiler也需要在感兴趣的函数上面装饰@profile装饰器: ? ? ? | 袁不语 翻译于 2年前 0人顶 顶 翻译的不错哦! |
line_profiler和memory_profiler的IPython快捷方式memory_profiler和line_profiler有一个鲜为人知的小窍门,两者都有在IPython中的快捷命令。你需要做的就是在IPython会话中输入以下内容:? ? | Garfielt 翻译于 2年前 0人顶 顶 翻译的不错哦! |
内存泄漏在哪里?cPython解释器使用引用计数做为记录内存使用的主要方法。这意味着每个对象包含一个计数器,当某处对该对象的引用被存储时计数器增加,当引用被删除时计数器递减。当计数器到达零时,cPython解释器就知道该对象不再被使用,所以删除对象,释放占用的内存。如果程序中不再被使用的对象的引用一直被占有,那么就经常发生内存泄漏。 查找这种“内存泄漏”最快的方式是使用Marius Gedminas编写的objgraph,这是一个极好的工具。该工具允许你查看内存中对象的数量,定位含有该对象的引用的所有代码的位置。 | 袁不语 翻译于 2年前 0人顶 顶 翻译的不错哦! |
一开始,首先安装objgraph: ? ? 在运行的时候,你可以通过执行下述指令查看程序中前20个最普遍的对象: ? 我们也可以查看两个时间点之间那些对象已经被添加或删除: ? 继续,你还可以查看哪里包含给定对象的引用。让我们以下述简单的程序做为一个例子: ? ? | 袁不语 翻译于 2年前 0人顶 顶 翻译的不错哦! |
该命令的输出应该是一副PNG图像,保存在/tmp/backrefs.png,它看起来是像这样: 最下面有红字的盒子是我们感兴趣的对象。我们可以看到,它被符号x引用了一次,被列表y引用了三次。如果是x引起了一个内存泄漏,我们可以使用这个方法,通过跟踪它的所有引用,来检查为什么它没有自动的被释放。 回顾一下,objgraph 使我们可以: 显示占据python程序内存的头N个对象 显示一段时间以后哪些对象被删除活增加了 在我们的脚本中显示某个给定对象的所有引用 | super0555 翻译于 2年前 0人顶 顶 翻译的不错哦! |
努力与精度
在本帖中,我给你显示了怎样用几个工具来分析python程序的性能。通过这些工具与技术的武装,你可以获得所有需要的信息,来跟踪一个python程序中大多数的内存泄漏,以及识别出其速度瓶颈。对许多其他观点来说,运行一次性能分析就意味着在努力目标与事实精度之间做出平衡。如果感到困惑,那么就实现能适应你目前需求的最简单的解决方案。
参考
stack overflow - time explained(堆栈溢出 - 时间解释)
line_profiler(线性分析器)
memory_profiler(内存分析器)
objgraph(对象图)
相关文章推荐
- python之模块csv之 读取CSV文件(reader和DictReader2个方法)
- Python 快速入门
- python之模块csv之CSV文件一次写入多行
- python程序的执行原理(三)
- Python程序的执行原理(二)
- Python程序的执行原理(-)
- python之模块csv之CSV文件的写入(基本结构)
- python之模块csv之CSV文件的写入(按行写入)
- Python常识
- 笨办法学python的笔记之五(range())
- Python安装环境搭建(python+pycharm+pid)
- Python脚本暴力破解栅栏密码
- Python六大开源框架对比
- python基础学习笔记
- python 面试题4
- python 面试题3
- Python(八)python下的自定义函数库
- python 面试题2
- python 面试题1
- ACG图片站\python爬虫\LAMP环境