python处理大文件的内存问题
2016-11-01 16:52
295 查看
摘要:
同学们时常会遇到要处理大文件的情况,现在是大数据时代,有些文件动辄几十个G,我们在处理这样文件的时候一不小心就把内存撑爆了,或者程序被强制kill掉了。
原因是你一次性把文件的所有内容都读取到内存里面了。python里面有方法可以一段一段的读文件。
正文:
没错,就是用iterator,又叫迭代器,实例代码如下。
cat test.py
f = open('data', 'r')
for line in f:
line = line.split(";;")
lines.append(line)
if len(lines) >= 10000:
# consume the lines which have been read
print lines
del lines[:]
if lines:
# consume the lines which have been read
print lines
cat data
73231701-201610;;shop_id::::73231701;;shop_name::::邂逅魅影;;platform_name::::xxxx;;shop_type::::个人卖家;;shop_loc::::xxx;;gold_seller::::否;;market_name::::taobao;;description::::NULL;;service::::NULL;;logistics::::NULL;;shop_owner::::洋洋103105;;create_time::::2012-08-15;;credit::::爱心4;;shop_age::::4;;co_name::::NULL;;shop_link::::https://shop73231701.example.com
73295319-201610;;shop_id::::73295319;;shop_name::::唯美为你最美;;platform_name::::xxxx;;shop_type::::个人卖家;;shop_loc::::xxx;;gold_seller::::否;;market_name::::taobao;;description::::NULL;;service::::NULL;;logistics::::NULL;;shop_owner::::chenyan121166563;;create_time::::2012-08-20;;credit::::钻石3;;shop_age::::4;;co_name::::NULL;;shop_link::::
https://shop73295319.example.com
上面的文件实际会很长,我这里只是写了两行,仅供参考。
“for line in f”每次都只会读取一行数据到内存,我们可以设置一个buffer,比如每10000行用list暂存下,处理完了之后再继续读取文件。
这样就实现了一段一段的读取文件内容到内存。是不是很酷!
赶紧试试吧!
同学们时常会遇到要处理大文件的情况,现在是大数据时代,有些文件动辄几十个G,我们在处理这样文件的时候一不小心就把内存撑爆了,或者程序被强制kill掉了。
原因是你一次性把文件的所有内容都读取到内存里面了。python里面有方法可以一段一段的读文件。
正文:
没错,就是用iterator,又叫迭代器,实例代码如下。
cat test.py
f = open('data', 'r')
for line in f:
line = line.split(";;")
lines.append(line)
if len(lines) >= 10000:
# consume the lines which have been read
print lines
del lines[:]
if lines:
# consume the lines which have been read
print lines
cat data
73231701-201610;;shop_id::::73231701;;shop_name::::邂逅魅影;;platform_name::::xxxx;;shop_type::::个人卖家;;shop_loc::::xxx;;gold_seller::::否;;market_name::::taobao;;description::::NULL;;service::::NULL;;logistics::::NULL;;shop_owner::::洋洋103105;;create_time::::2012-08-15;;credit::::爱心4;;shop_age::::4;;co_name::::NULL;;shop_link::::https://shop73231701.example.com
73295319-201610;;shop_id::::73295319;;shop_name::::唯美为你最美;;platform_name::::xxxx;;shop_type::::个人卖家;;shop_loc::::xxx;;gold_seller::::否;;market_name::::taobao;;description::::NULL;;service::::NULL;;logistics::::NULL;;shop_owner::::chenyan121166563;;create_time::::2012-08-20;;credit::::钻石3;;shop_age::::4;;co_name::::NULL;;shop_link::::
https://shop73295319.example.com
上面的文件实际会很长,我这里只是写了两行,仅供参考。
“for line in f”每次都只会读取一行数据到内存,我们可以设置一个buffer,比如每10000行用list暂存下,处理完了之后再继续读取文件。
这样就实现了一段一段的读取文件内容到内存。是不是很酷!
赶紧试试吧!
相关文章推荐
- Python处理unicode编码的txt文件(Python中文处理)——解决to_excel()和to_csv()导出文件内容为空的问题
- python处理文件首行的BOM问题
- 解决java读取大文件内存溢出问题、如何在不重复读取与不耗尽内存的情况下处理大文件
- python3 打开文件失败的异常处理的问题
- 解决java读取大文件内存溢出问题、如何在不重复读取与不耗尽内存的情况下处理大文件
- hadoop streaming python 处理 lzo 文件遇到的问题
- Python在Windows环境下处理文件路径问题最佳实践
- 解决java读取大文件内存溢出问题、如何在不重复读取与不耗尽内存的情况下处理大文件
- python文件处理时的问题:split函数,input函数
- Python处理MLDonkey 下载中文文件乱码问题
- Python处理MLDonkey 下载中文文件乱码问题
- python2的编码问题(因split处理文件深入的)
- python 读写文件编码处理问题
- python之xml文件处理的例子-问题描述及解决方法
- hadoop streaming python 处理 lzo 文件遇到的问题
- python 处理中文文件时的编码问题,尤其是utf-8和gbk
- python 在windows系统上处理有空格的文件路径的问题
- 处理Python2.7读写文件中的中文乱码问题
- selenium+python 自动化测试,下载文件过程中出现对话框问题的处理
- Python处理MLDonkey 下载中文文件乱码问题 (2)