通过Pandas读取大文件的实例
2018-06-07 10:17
716 查看
当数据文件过大时,由于计算机内存有限,需要对大文件进行分块读取:
import pandas as pd f = open('E:/学习相关/Python/数据样例/用户侧数据/test数据.csv') reader = pd.read_csv(f, sep=',', iterator=True) loop = True chunkSize = 100000 chunks = [] while loop: try: chunk = reader.get_chunk(chunkSize) chunks.append(chunk) except StopIteration: loop = False print("Iteration is stopped.") df = pd.concat(chunks, ignore_index=True) print(df)
read_csv()函数的iterator参数等于True时,表示返回一个TextParser以便逐块读取文件;
chunkSize表示文件块的大小,用于迭代;
TextParser类的get_chunk方法用于读取任意大小的文件块;
StopIteration的异常表示在循环对象穷尽所有元素时报错;
concat()函数用于将数据做轴向连接:
pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, Verify_integrity=False)
常用参数:
objs:Series,DataFrame或者是Panel构成的序列list;
axis:需要合并连接的轴,0是行,1是列;
join:连接的参数,inner或outer;
ignore=True表示重建索引。
以上这篇通过Pandas读取大文件的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
您可能感兴趣的文章:
相关文章推荐
- 通过phpexcel读取excel文件到数据库 实例
- Go1.5从文件读取密码,然后到远端下载文件的小实例.(通过sftp协议下载)
- 300.33通过读取配置文件方式来使用反射完成实例对象调用方法
- 09_通过读取配置文件的方式来使用反射完成对实例对象方法调用
- java通过InputStream读取和写入文件操作实例代码
- 通过Pandas读取大文件
- C#项目实例中读取并修改App.config文件
- 21.4 实例:读取目录下指定类型的文件的内容
- 通过servletcontext读取WEB-INF下的配置文件
- FMS应用实例 - 从FMS服务器读取文件(图片/SWF/文本)到客户端
- Java 通过 BufferReader 实现 文件 写入读取 示例
- 此工具类通过io流读取各种文件,将之转换为字符串并返回
- python的pandas工具包,保存.csv文件时不要表头的实例
- Nodejs中读取中文文件编码问题、发送邮件和定时任务实例
- 通过python读取ini配置文件
- 2.通过原始的Driver接口通过读取Properties属性文件获取JDBC数据库连接Connection
- 利用Pandas读取文件路径或文件名称包含中文的csv文件
- opencv读取彩色/灰度图片像素值并存储在本地文件中c++代码实例及运行结果
- java 文件上传到读取文件内容的实例
- 简单的文件读取实例