小函数解决python统计文件行数问题

小函数解决python统计文件行数问题

-----by wangsh

经常会用python写一些小程序处理数据转化，或者数据提取的工作，今天解决了python统计文件行数问题。

不多说了，直接上代码：

最简单的办法是把文件读入一个大的列表中,然后统计列表的长度.如果文件的路径是以参数的形式filepath传递的,那么只用一行代码就可以完成我们的需求了:

count = len(open(filepath,'rU').readlines())

如果是非常大的文件,上面的方法可能很慢,甚至失效.此时,可以使用循环来处理:

count = -1

for count, line in enumerate(open(thefilepath, 'rU')):

pass

count += 1

另外一种处理大文件比较快的方法是统计文件中换行符的个数'\n '(或者包含'\n'的字串,如在windows系统中):

count = 0

thefile = open(thefilepath, 'rb')

while True:

buffer = thefile.read(8192*1024)

if not buffer:

break

count += buffer.count('\n')

thefile.close( )

参数'rb'是必须的,否则在windows系统上,上面的代码会非常慢.

经过测试，三种方法均可以，个人推荐使用第三种。

参考

1.python统计文件行数 http://blog.sina.com.cn/s/blog_798f21a00100yk1b.html
2. 统计文件行数 http://blog.sina.com.cn/s/blog_48acdd250100qh93.html