Python scikit-learn机器学习工具包学习笔记：cross_validation模块

sklearn.cross_validation模块的作用顾名思义就是做cross validation的。

cross validation大概的意思是：对于原始数据我们要将其一部分分为train data，一部分分为test data。train data用于训练，test data用于测试准确率。在test data上测试的结果叫做validation error。将一个算法作用于一个原始数据，我们不可能只做出随机的划分一次train和test data，然后得到一个validation error，就作为衡量这个算法好坏的标准。因为这样存在偶然性。我们必须好多次的随机的划分train data和test data，分别在其上面算出各自的validation error。这样就有一组validation error，根据这一组validation error，就可以较好的准确的衡量算法的好坏。

cross validation是在数据量有限的情况下的非常好的一个evaluate performance的方法。

而对原始数据划分出train data和test data的方法有很多种，这也就造成了cross validation的方法有很多种。

sklearn中的cross validation模块，最主要的函数是如下函数：

sklearn.cross_validation.cross_val_score

他的调用形式是

scores = cross_validation.cross_val_score(clf, raw data, raw target, cv=5, score_func=None)

参数解释：

clf是不同的分类器，可以是任何的分类器。比如支持向量机分类器。clf = svm.SVC(kernel=’linear’, C=1)

cv参数就是代表不同的cross validation的方法了。如果cv是一个int数字的话，并且如果提供了raw target参数，那么就代表使用StratifiedKFold分类方式，如果没有提供raw target参数，那么就代表使用KFold分类方式。

cross_val_score函数的返回值就是对于每次不同的的划分raw data时，在test data上得到的分类的准确率。至于准确率的算法可以通过score_func参数指定，如果不指定的话，是用clf默认自带的准确率算法。

还有其他的一些参数不是很重要。

cross_val_score具体使用例子见下：

>>> clf = svm.SVC(kernel='linear', C=1)
>>> scores = cross_validation.cross_val_score(
...    clf, raw data, raw target, cv=5)
...
>>> scores
array([ 1.  ...,  0.96...,  0.9 ...,  0.96...,  1.      ])

除了刚刚提到的KFold以及StratifiedKFold这两种对raw data进行划分的方法之外，还有其他很多种划分方法。但是其他的划分方法调用起来和前两个稍有不同（但是都是一样的），下面以ShuffleSplit方法为例说明：

>>> n_samples = raw_data.shape[0]
>>> cv = cross_validation.ShuffleSplit(n_samples, n_iter=3,
...     test_size=0.3, random_state=0)

>>> cross_validation.cross_val_score(clf, raw data, raw target, cv=cv)
...
array([ 0.97...,  0.97...,  1.        ])

还有的其他划分方法如下：

cross_validation.Bootstrap

cross_validation.LeaveOneLabelOut

cross_validation.LeaveOneOut

cross_validation.LeavePLabelOut

cross_validation.LeavePOut

cross_validation.StratifiedShuffleSplit

他们的调用方法和ShuffleSplit是一样的，但是各自有各自的参数。至于这些方法具体的意义，见machine learning教材。

还有一个比较有用的函数是train_test_split

功能：从样本中随机的按比例选取train data和test data。

调用形式为：

X_train, X_test, y_train, y_test = cross_validation.train_test_split(train_data,train_target, test_size=0.4, random_state=0)

test_size是样本占比。如果是整数的话就是样本的数量。

random_state是随机数的种子。不同的种子会造成不同的随机采样结果。相同的种子采样结果相同。