利用python在大量数据文件下删除某一行的例子
2019-08-21 16:06
4611 查看
python修改大数据文件时,如果全加载到内存中,可能会导致内存溢出。因此可借用如下方法,将分件分段读取修改。
with open('file.txt', 'r') as old_file: with open('file.txt', 'r+') as new_file: current_line = 0 # 定位到需要删除的行 while current_line < (3 - 1): #(del_line - 1) old_file.readline() current_line += 1 # 当前光标在被删除行的行首,记录该位置 seek_point = old_file.tell() # 设置光标位置 new_file.seek(seek_point, 0) # 读需要删除的行,光标移到下一行行首 old_file.readline() # 被删除行的下一行读给 next_line next_line = old_file.readline() # 连续覆盖剩余行,后面所有行上移一行 while next_line: new_file.write(next_line) next_line = old_file.readline() # 写完最后一行后截断文件,因为删除操作,文件整体少了一行,原文件最后一行需要去掉 new_file.truncate()
注:truncate()函数括号可以加数字,表示删除数字之后的字符串,如果不加 就从当前光标处开始截断删除
以上这篇利用python在大量数据文件下删除某一行的例子就是小编分享给大家的全部内容了,希望能给大家一个参考
您可能感兴趣的文章:
相关文章推荐
- ArrayList利用迭代器Iterator遍历方法实现数据(新闻)的删除、添加、显示功能例子
- 对java,c,c#删除文件中的一行,删除文件中的数据
- 利用perl从大量数据中筛选我们我们需要的数据,核心思想就是根据格式的一致性,将每一行利用split转换成数组,然后输出对应的数组
- 利用python进行数据分析-pandas.concat/subplots/gropuby/pivot_table,多文件整合、聚合、分组,子图
- Linux环境利用恢复被rm意外删除数据文件
- 利用python进行数据分析-数据加载、存储与文件格式2
- 利用 python 对目录下的文件进行过滤删除
- python-----利用filecmp删除重复文件
- 人生第一份python脚本 ---- 遍历文件夹中文件,删除特定文件中的一行代码
- C# winform 实现删除文件中数据的一行
- 利用python爬虫大量基金股票的净值写入到csv文件中方便做其他计算
- python 删除大文件中的某一行(最有效率的方法)
- 利用Python读取网络数据文件
- 利用python删除指定目录下,指定后缀名文件
- Abaqus-利用python处理有多个instances的odb文件,得到inp模型数据用于前处理
- 《JavaWeb---简单应用---练习JDBC,JSTL》---上传Excel文件,利用工具包解析,将数据储存到数据库中,可以查询删除
- 利用shell删除数据表中指定信息和字段对应的文件
- 包含LOB_Data列的表删除大量数据后表及数据库文件的收缩
- Python中使用glob和rmtree删除目录子目录及所有文件的例子
- 关于Python对于文件某一行删除/更改的Hack