Python与sed,grep文本查找效率对比小测
2013-09-17 15:30
543 查看
Gnu awk作者在FreeBSD邮件列表中回答”GNU grep为什么比BSD grep要快“,提到了用到了Boyer-Moore算法,虽然不知道是什么,但感觉很厉害的样子~我猜想grep有多快呢?
所以想比较下下python,sed与grep:
测试文本:20w行,21M大
python普通正则匹配:
结果:
试下编译的正则试试:
结果快了1倍:
试试sed:
快了1个数量级!
最后试试grep:
果然grep是查找最专业的!
所以想比较下下python,sed与grep:
测试文本:20w行,21M大
python普通正则匹配:
#!/usr/bin/python3 import re f=open('/tmp/test.txt') for line in f: match=re.findall('^This.*want',line) if match != []: print(match)
结果:
试下编译的正则试试:
#!/usr/bin/python3 import re f=open('/tmp/test.txt') re_obj=re.compile('^This.*want') for line in f: match=re_obj.findall(line) if match != []: print(match)
结果快了1倍:
试试sed:
快了1个数量级!
最后试试grep:
果然grep是查找最专业的!
相关文章推荐
- python中in在list和dict中查找效率的对比分析
- awk, python, perl文本处理效率对比(zz)
- [python]关于字符串查找和re正则表达式的效率对比
- Python 中list ,set,dict的大规模查找效率
- sed `grep` 查找并替换
- 获取文本中你需要的字段的 几个命令 grep awk cut tr sed
- linux下的文本处理命令sed&awk&grep
- linux下的文本处理命令sed&awk&grep
- linux实战(一)----日志的截取-----文本过滤器grep、文本流式编辑器sed、报表生成器awk的运用
- 文本处理命令的简单用法(diff,grep,sed,sort,cut)
- grep,查找文本
- 文本编辑工具sed查看工具grep和正则表达式
- grep遍历文件夹查找文本内容
- 2.shell中的文本处理:grep、awk与sed
- 斐波那契堆 插入、 Extract-Min(查找+删除)效率与 STL优先队列对比
- grep 命令查找文件中的文本字符串
- grep查找字串sed替换字串
- sed, awk, grep, cut 对比
- Learning Python:1. 生成器函数、列表解析与map,for循环的效率对比
- 文本查找工具grep,正则表达式,扩展表达式