python Pandas如何对数据集随机抽样
2019-07-29 15:00
3539 查看
摘要:有时候我们只需要数据集中的一部分,并不需要全部的数据。这个时候我们就要对数据集进行随机的抽样。pandas中自带有抽样的方法。
应用场景:
我有10W行数据,每一行都11列的属性。
现在,我们只需要随机抽取其中的2W行。
实现方法很简单:
利用Pandas库中的sample。
DataFrame.sample(n=None, frac=None, replace=False, weights=None, random_state=None, axis=None)
n是要抽取的行数。(例如n=20000时,抽取其中的2W行)
frac是抽取的比列。(有一些时候,我们并对具体抽取的行数不关系,我们想抽取其中的百分比,这个时候就可以选择使用frac,例如frac=0.8,就是抽取其中80%)
replace:是否为有放回抽样,取replace=True时为有放回抽样。
weights这个是每个样本的权重,具体可以看官方文档说明。
random_state这个在之前的文章已经介绍过了。
axis是选择抽取数据的行还是列。axis=0的时是抽取行,axis=1时是抽取列(也就是说axis=1时,在列中随机抽取n列,在axis=0时,在行中随机抽取n行)
具体用法:
假设DataFrame为df
import pandas as pd df.sample(n=20000)
另外,介绍一种不是Pandas中的方法。如果想用Numpy这个库进行也可以。
import numpy as np np.random.sample(Your_index)
以上就是本文的全部内容,希望对大家的学习有所帮助
您可能感兴趣的文章:
相关文章推荐
- python-Pandas学习 如何对数据集随机抽样?
- 量化-windows下如何安装Python、pandas
- 如何用Python Pandas以及正则表达式提取地址中的省份
- 如何使用python访问ECMWF公共数据集
- 如何用Python批量导入Excel并用Pandas整合
- python 如何安装Numpy Scipy pandas等扩展库
- 【量化小讲堂-Python&Pandas系列10】如何判断一个策略的好坏?(附代码)
- Python/Keras如何将给定的数据集打乱
- Python机器学习——如何shuffle一个数据集(ndarray类型)
- Python: Pandas的DataFrame如何按指定list排序
- Python: Pandas的DataFrame如何按指定list排序
- Python-Pandas 如何shuffle(打乱)数据?
- python如何筛选数据集中列中value长度大于20的数据集
- Python/Keras如何将给定的数据集打乱
- PYTHON的pandas如何处理从MySQL中导出的datetime?
- 【量化小讲堂-Python&Pandas系列02】Windows下如何安装Python、Pandas
- python pandas 如何对一列做四舍五入的操作
- 利用Python进行数据分析——第二章 引言(2):利用pandas对babynames数据集进行简单处理
- python pandas 如何替换某列的一个值
- Python之如何删除pandas DataFrame的某一/几列