使用python进行拆分大文件的方法
2018-12-11 08:02
756 查看
python按指定行数把大文件进行拆分
如图大文件有7000多万行,大小为16G
需要拆分成多个200万行的小文件
代码如下:
# -*- coding:utf-8 -*- from datetime import datetime def Main(): source_dir = '/data/u_lx_data/zhangqm/sh/yanjie/liuxuesheng/jz_yuanshi_list0206.txt' target_dir = '/data/u_lx_data/zhangqm/sh/yanjie/liuxuesheng/split/' # 计数器 flag = 0 # 文件名 name = 1 # 存放数据 dataList = [] print("开始。。。。。") print(datetime.now().strftime('%Y-%m-%d %H:%M:%S')) with open(source_dir,'r') as f_source: for line in f_source: flag+=1 dataList.append(line) if flag == 2000000: with open(target_dir+"jz_yuanshi_list_"+str(name)+".txt",'w+') as f_target: for data in dataList: f_target.write(data) name+=1 flag = 0 dataList = [] # 处理最后一批行数少于200万行的 with open(target_dir+"jz_yuanshi_list_"+str(name)+".txt",'w+') as f_target: for data in dataList: f_target.write(data) print("完成。。。。。") print(datetime.now().strftime('%Y-%m-%d %H:%M:%S')) if __name__ == "__main__": Main()
结果如下:
总共产生39个文件,最后一个文件行数760821,这样就OK啦
经测试16G文件所需时间如图:不到两分钟
以上这篇使用python进行拆分大文件的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
您可能感兴趣的文章:
相关文章推荐
- 使用Python进行二进制文件读写的简单方法(推荐)
- 使用Python进行二进制文件读写的简单方法(推荐)
- 使用 Python 进行稳定可靠的文件操作
- 使用Python进行文件整理(一)
- 在Python中使用next()方法操作文件的教程
- Python下使用optparse模块实现对多个文件进行统计【二】
- C# 使用 itextsharp 对pdf文件进行分割的几种方法(1)——按页码拷贝分割
- 在Python中使用next()方法操作文件的教程
- 图文介绍Windows系统下使用 Github账户 + msysgit + TortoiseGit 进行文件管理的方法。
- 使用 Python 进行稳定可靠的文件操作
- 在python的WEB框架Flask中使用多个配置文件的解决方法
- Python使用Flask框架同时上传多个文件的方法
- python使用PyGame播放Midi和Mp3文件的方法
- 在Python中操作文件之seek()方法的使用教程
- Python实现简单拆分PDF文件的方法
- Android使用文件进行数据存储的方法
- Python使用reportlab将目录下所有的文本文件打印成pdf的方法
- 使用fileinput模块进行原地修改文件 分类: python 小练习 2013-08-13 16:47 618人阅读 评论(0) 收藏
- 使用Python进行稳定可靠的文件操作
- 使用 Python 进行稳定可靠的文件操作