python分块读取大数据,避免内存不足的方法
2018-12-26 00:02
1351 查看
如下所示:
def read_data(file_name): ''' file_name:文件地址 ''' inputfile = open(file_name, 'rb') #可打开含有中文的地址 data = pd.read_csv(inputfile, iterator=True) loop = True chunkSize = 1000 #一千行一块 chunks = [] while loop: try: chunk = dcs.get_chunk(chunkSize) chunks.append(chunk) except StopIteration: loop = False print("Iteration is stopped.") data = pd.concat(chunks, ignore_index=True) #print(train.head()) return data
以上这篇python分块读取大数据,避免内存不足的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
您可能感兴趣的文章:
相关文章推荐
- php查询mysql大量数据造成内存不足的解决方法
- Python多进程分块读取超大文件的方法
- Python导出数据到Excel可读取的CSV文件的方法
- Python多进程分块读取超大文件的方法
- Yahoo! Finance财经数据PYTHON临时读取方法
- python读取写入内存方法SringIO,BytesIO
- python从数据库读取几百万条的数据结果内存直接爆掉
- Python读取数据集并消除数据中的空行方法
- myeclipse 读取数据内存不足问题
- python读取文本文件数据的方法总结
- php查询mysql大量数据造成内存不足的解决方法
- Python基于csv模块实现读取与写入csv数据的方法
- python 读取文本文件的行数据,文件.splitlines()的方法
- Python实现读取SQLServer数据并插入到MongoDB数据库的方法示例
- Python3-读取数据并转为dict list字典列表的方法
- 在android中创建bitmap避免内存不足的方法
- python读取json文件并将数据插入到mongodb的方法
- python从sqlite读取并显示数据的方法
- Python3实现将文件归档到zip文件及从zip文件中读取数据的方法
- Python3实现将文件归档到zip文件及从zip文件中读取数据的方法