用Python将较大内容写入文件的注意事项
2017-11-30 11:27
495 查看
在我们利用python做数据分析时,往往会产生较大的数据,这时我们要将数据内容写入文件中一般有两个方法:
1. 利用python的pandas库的数据结构DataFrame将每次处理的结果先存起来,最后等所有的处理过程结束,用DataFrame的方法如to_csv等将内容写入文件
2. 利用outfile.write( )一边处理数据,一边将处理结果写入文件
从实践的情况来看,当写非常大的数据内容到文件时,方法1会消耗大量缓存,最后可能导致死机,而方法2要好很多。
1. 利用python的pandas库的数据结构DataFrame将每次处理的结果先存起来,最后等所有的处理过程结束,用DataFrame的方法如to_csv等将内容写入文件
2. 利用outfile.write( )一边处理数据,一边将处理结果写入文件
从实践的情况来看,当写非常大的数据内容到文件时,方法1会消耗大量缓存,最后可能导致死机,而方法2要好很多。
相关文章推荐
- 用python读取stata文件及写入and注意事项
- Python获取目录、文件的注意事项
- python操作文件写入内容
- Learning Python 013 按行读取文件(逐行读取) --- 按行写入文件(逐行写入) --- 实战:从字幕文件中提取字幕内容
- 用python写入和查询mysql及注意事项
- python中文件读取操作及注意事项
- python中将正则过滤的内容输出写入到文件中的实例
- Java中对于文件读取写入需要注意的事项
- python 文件操作的注意事项
- Python中用print方法向文件中写入内容
- Python3.6应用Pyinstaller打包py文件的一些注意事项
- 【Python小工具】Python实现批量解析PDF文件提取内容并写入到Excel中
- 输入文件名-创建文件-写入内容(Python)
- python---对python的help命令内容写入特定文件中
- python读网页解析内容写入文件
- 【原】Python 用例:二进制写入和读取文件内容
- python 学习记录(11)-文件处理/读取文件/文件写入内容/文件删除/文件复制/文件重命名/后缀名/内容查找与替换/文件比较/ 配置文件访问/目录创建与删除/遍历目录/定向输出
- python中 .write 无法向文件写入内容
- python中文件基本操作命令及注意事项
- php,linux写入文件时 实现换行的注意事项