pandas处理数据最多是M级？还是G？还是亿？极限数量是多少呢？
2017-11-23 00:00
771 查看
一般来说，用pandas处理小于100兆的数据，性能不是问题。当用pandas来处理100兆至几个G的数据时，将会比较耗时，同时会导致程序因内存不足而运行失败。
我今天用pyspark读取2~3G日志文件时，居然报OOM！想必就是数据量超过了pd处理极限导致的
【报错代码】HalfStruct表存储在HDFS上，每天2~3G，一个月70~80G，这点量就OOM真出我意料
spark.sql("select * from HalfStruct").toPandas()
但是又看到另一篇说pandas处理亿级数据，
见http://www.justinablog.com/archives/1357
我今天用pyspark读取2~3G日志文件时，居然报OOM！想必就是数据量超过了pd处理极限导致的
【报错代码】HalfStruct表存储在HDFS上，每天2~3G，一个月70~80G，这点量就OOM真出我意料
spark.sql("select * from HalfStruct").toPandas()
但是又看到另一篇说pandas处理亿级数据，
见http://www.justinablog.com/archives/1357
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 有一个进程， 在朝某ip, port发数据， 在没有源码的情况下， 如何获知ip, port是多少呢？------还是用strace啦
- 边学边记(5):pandas，matplotlib处理爬取的爱屋吉屋二手房数据
- pandas处理excel数据经验
- 人工智能：python 实现 第十一章，使用Pandas处理时间序列数据
- 使用Python Pandas处理亿级数据
- pandas 之数据的简单处理和排序输出
- [置顶] 【python 处理亿级数据】使用 Pandas 处理亿级数据
- python的pandas处理数据第一次
- 使用Python Pandas处理亿级数据
- 写一个类，能接受int型的变量，接收变量后能存储原变量和其反向变量，最多处理数量为10个，当输入达到10个或者输入变量为0的时候停止。
- Pandas —— 处理缺失数据dropna( )和fillna( )
- 使用pandas处理数据并绘图的例子
- 一个mssqlserver表最多可以存放多少数据？？
- Redis单实例能够处理多少key，每个数据类型能够处理多少元素
- pandas处理数据
- Pandas 基本文本数据处理
- 利用python进行数据分析（三）：pandas--处理数据的工具
- pandas擅长数据I/O处理numpy擅长数组数值计算
- 使用pandas对矢量化数据进行替换处理的方法
- mysql每秒最多能插入多少条数据 ? 死磕性能压测