Python数据集切分实例
2018-12-09 20:04
2246 查看
在处理数据过程中经常要把数据集切分为训练集和测试集,因此记录一下切分代码。
''' data:数据集 test_ratio:测试机占比 如果data为numpy.numpy.ndarray直接使用此代码 如果data为pandas.DatFrame类型则 return data[train_indices],data[test_indices] 修改为 return data.iloc[train_indices],data.iloc[test_indices] ''' def split_train(data,test_ratio): shuffled_indices=np.random.permutation(len(data)) test_set_size=int(len(data)*test_ratio) test_indices =shuffled_indices[:test_set_size] train_indices=shuffled_indices[test_set_size:] return data[train_indices],data[test_indices]
测试代码如下:
import numpy as np import pandas as pd data=np.random.randint(100,size=[25,4]) print(data)
结果如下:
从上图可以看出,原数据集按照5:1被随机分为两部分。但是此种方法存在一个缺点–每次调用次函数切分同一个数据集切分出来的结果都不一样,因此常在np.random.permutation(len(data))先调用np.random.seed(int)函数,来确保每次切分来的结果相同。
因此将上述函数改为:
def split_train(data,test_ratio): np.random.seed(43) shuffled_indices=np.random.permutation(len(data)) test_set_size=int(len(data)*test_ratio) test_indices =shuffled_indices[:test_set_size] train_indices=shuffled_indices[test_set_size:] return data[train_indices],data[test_indices]
这个函数np.random.seed(43)当参数为同一整数时产生的随机数相同。
以上这篇Python数据集切分实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
您可能感兴趣的文章:
相关文章推荐
- python merge、concat合并数据集的实例讲解
- Python数据集切分
- 实例分析python3实现并发访问水平切分表
- python中urllib模块用法实例详解
- Python迭代用法实例教程
- python 统计文件应用实例
- Python迭代用法实例教程
- python对json的操作及实例解析
- 【Python实例二】之前期准备:Windows下的BeautifulSoup安装
- Python的类实例属性访问规则
- python网络编程实例简析
- Python解析MNIST数据集
- python 示例:始用PIL库图片操作实例 缩放与模糊
- 用python操作excel的强大工具:openpyxl(附上实例脚本)
- python 七种邮件内容发送方法实例
- python 类函数,实例函数,静态函数
- 用python记录运行pid,并在需要时kill掉它们的实例
- python使用rabbitmq实例五,路由键模糊匹配
- python3.4学习笔记(二十三) Python调用淘宝IP库获取IP归属地返回省市运营商实例代码
- Python数据库连接池实例——PooledDB