Python如何进行cross validation training

以4-fold validation training为例
(1) 给定数据集data和标签集label

样本个数为

sampNum = len(data)

(2) 将给定的所有examples分为10组

每个fold个数为

foldNum = sampNum/10

(3) 将给定的所有examples分为10组

参考scikit-learn的3.1节：Cross-validation

1 import np
2 from sklearn import cross_validation
3 # dataset
4
5 data = np.array([[1,3],[2,4],[3.1,3],[4,5],[5.0,0.3],[4.1,3.1]])
6 label = np.array([0,1,1,1,0,0])
7 sampNum= len(data)
8
9 # 10-fold （9份为training，1份为validation）
10 kf = KFold(len(data), n_folds=4)
11 iFold = 0
12 for train_index, val_index in kf:
13     iFold = iFold+1
14     X_train, X_val, y_train, y_val = data[train_index], data[val_index], label[train_index], label[val_index] # 这里的X_train，y_train为第iFold个fold的训练集，X_val，y_val为validation set

　　

给定的数据集如下：





所有样本的指标集为：

0

1

2

3

4

5

6

7

每个iFold(共4个)的训练集和validation set的index分别为：

iFold = 0 （训练集中包含6个examples，validation set 中包含3个examples）



iFold = 1



iFold = 2



iFold = 3



每个iFold的训练集和validation set分别为：

X_train, X_val, y_train, y_val = data[train_index], data[val_index], label[train_index], label[val_index]