模型评估与改进：网格搜索

我们已经知道如何评估一个模型的泛化能力：交叉验证 接着学习如何通过调参来提升模型的泛化能力

⭐网格搜索：尝试我们所关心的参数的所有可能组合

1、简单网格搜索

from sklearn.svm import SVC
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris

#在两个参数上使用for循环

#加载数据
iris = load_iris()
X_train,X_test,y_train,y_test = train_test_split(iris.data,iris.target,random_state=0)

best_score = 0
p={}

C = [0.001,0.01,0.1,1,10,100]
G = [0.001,0.01,0.1,1,10,100]

for c in C:
for g in G:
svc = SVC(C=c,gamma=g)
svc.fit(X_train,y_train)
score = svc.score(X_test,y_test)

if score > best_score:
best_score = score
p = {'C':c,'gamma':g}

print("best score:{}".format(best_score))
print('best parameters:{}'.format(p))

'''
输出
```
best score:0.9736842105263158
best parameters:{'C': 0.1, 'gamma': 1}
```
'''

📣 虽然最好精度达到了0.97，但该精度不一定能推广到新数据上

• 因为这个例子中，使用了训练集来调参，因此不能用训练集来评估模型
• 要找一个独立的数据集，没有被用过的

2、参数过拟合的风险与验证集

⭐再次划分数据：训练集，验证集，测试集

• 训练集：拟合模型

• 验证集：调参

• 测试集：评估模型性能

  mglearn.plots.plot_threefold_split()

#利用验证集选定最佳参数后，利用找到的参数构建一个模型
#再次在训练集和验证集上训练（使得训练数据尽可能的多）

#训练集+验证集 以及 测试集
X_train_val,X_test,y_train_val,y_test = train_test_split(iris.data,iris.target,random_state=0)

#将训练集+验证集分开
X_train,X_val,y_train,y_val = train_test_split(X_train_val,y_train_val,random_state=1)

print("size of train_set:{}\n val_set:{} \n test_set:{}".format(X_train.shape,X_val.shape,X_test.shape))

'''
```
size of train_set:(84, 4)
val_set:(28, 4)
test_set:(38, 4)
```
'''

best_score = 0
p={}

C = [0.001,0.01,0.1,1,10,100]
G = [0.001,0.01,0.1,1,10,100]

for c in C:
for g in G:
svc = SVC(C=c,gamma=g)
svc.fit(X_train,y_train)
score = svc.score(X_val,y_val)

if score > best_score:
best_score = score
p = {'C':c,'gamma':g}

print("best score:{}".format(best_score))
print('best parameters:{}'.format(p))

#用最优参数构建一个模型

svc = SVC(**p)
svc.fit(X_train_val,y_train_val)
score = svc.score(X_test,y_test)
print("Test set with best parameters:{}".format(score))

'''
```
best score:0.9642857142857143
best parameters:{'C': 0.1, 'gamma': 1}
Test set with best parameters:0.9736842105263158
```
'''

📣 保留一个单独的测试集，仅用于最终评估是很重要的！

• 利用训练集和验证集组合完成所有的探索性分析与模型选择
• 并保留测试集用于最终的模型评估

3、带交叉验证的网格搜索

将数据划分为3个数据集：训练集、验证集、测试集是可行的，但这种方法对数据的划分方法相当敏感

• 不同的划分方法，会导致不同的最优参数

⭐为了得到泛化性能的更好估计，我们可以选择使用带交叉验证的网格搜索

from sklearn.model_selection import cross_val_score

#加载数据
iris = load_iris()
X_train,X_test,y_train,y_test = train_test_split(iris.data,iris.target,random_state=0)

best_score = 0
p={}

C = [0.001,0.01,0.1,1,10,100]
G = [0.001,0.01,0.1,1,10,100]

for c in C:
for g in G:
svc = SVC(C=c,gamma=g)

#交叉验证
score = cross_val_score(svc,X_train,y_train,cv=5)
score = score.mean()

if score > best_score:
best_score = score
p = {'C':c,'gamma':g}

print("best score:{}".format(best_score))
print('best parameters:{}'.format(p))

#用最优参数构建一个模型

svc = SVC(**p)
svc.fit(X_train,y_train)
score = svc.score(X_test,y_test)
print("Test set with best parameters:{}".format(score))

```
输出：
'''
best score:0.9731225296442687
best parameters:{'C': 10, 'gamma': 0.1}
Test set with best parameters:0.9736842105263158
```

'''

📣 使用5折交叉验证对C和gamma特定取值的svm的精度进行评估，需要训练36*5=180个模型

• 花费时间多

网格搜索的实现流程：

mglearn.plots.plot_grid_search_overview()

3.1 GridSearchCV类

ps：带交叉验证的网格搜索sklearn已经实现

⭐GridSearchCV类

• 以估计器estimator的方式实现，需要用一个字典指定要搜索的参数

  #参数字典
  
  param_grid = {"C":[0.001,0.01,0.1,1,10,100],
  "gamma":[0.001,0.01,0.1,1,10,100]}
  
  #使用模型（svm）、参数网格（param_grid）、交叉验证策略（比如说5折），将GridSearchCV实例化
  
  from sklearn.model_selection import GridSearchCV
  
  #实例化
  grid_search = GridSearchCV(SVC(),param_grid,cv=5)
  
  #交叉验证可以代替划分训练集和验证集
  #但我们需要将数据划分为训练集和验证集，避免参数过拟合
  X_train,X_test,y_train,y_test = train_test_split(iris.data,iris.target,random_state=0)
  
  #创建的grid_search对象的行为就像是一个分类器，它具有fit，score，predict的方法，因此可以在训练集和测试集使用
  
  grid_search.fit(X_train,y_train)
  print("Teat score:{}".format(grid_search.score(X_test,y_test)))
  
  '''
  `Teat score:0.9736842105263158`
  '''

#gird_search的最优参数保存在best_params_属性中
#交叉验证的最佳精度保存在best_score_属性中

print("Best parametes:{}".format(grid_search.best_params_))
print("Best cross validation scire:{}".format(grid_search.best_score_))

'''
```
Best parametes:{'C': 10, 'gamma': 0.1}
Best cross validation scire:0.9731225296442687
```
'''

（1）分析交叉验证的结果

⭐通常最好从相对比较稀疏且较小的网格开始搜索

• 网格搜索的结果可以在cv_results_属性中找到

  results = pd.DataFrame(grid_search.cv_results_)
  results.head()

#用热图可视化cv_results,x轴为gamma，y轴为C，表格中的值代表精度

scores = np.array(results.mean_test_score).reshape(6,6)

mglearn.tools.heatmap(scores,xlabel='gamma',xticklabels=param_grid['gamma'],
ylabel='C',yticklabels=param_grid['C'],cmap='viridis')

📣

图中每一个方块对应一次交叉验证的结果（36个方块）

参数的范围要足够大，每个参数的最佳取值不能位于图像边界上

（2）在非网格的空间中搜索

GridSearchCV的param_gird可以是字典组成的列表

param_grid = [{'kernel':['rbf'],
"C":[0.001,0.01,0.1,1,10,100],
"gamma":[0.001,0.01,0.1,1,10,100]},
{'kernel':['linear'],
"C":[0.001,0.01,0.1,1,10,100]}
]

print("List of girds:\n{}".format(param_grid))

'''
```
List of girds:
[{'kernel': ['rbf'], 'C': [0.001, 0.01, 0.1, 1, 10, 100], 'gamma': [0.001, 0.01, 0.1, 1, 10, 100]}, {'kernel': ['linear'], 'C': [0.001, 0.01, 0.1, 1, 10, 100]}]
```
'''

#用这个更复杂的参数搜索

#实例化
grid_search = GridSearchCV(SVC(),param_grid,cv=5)

grid_search.fit(X_train,y_train)

#gird_search的最优参数保存在best_params_属性中
#交叉验证的最佳精度保存在best_score_属性中

print("Best parametes:{}".format(grid_search.best_params_))
print("Best cross validation scire:{}".format(grid_search.best_score_))

'''
```
Best parametes:{'C': 10, 'gamma': 0.1, 'kernel': 'rbf'}
Best cross validation scire:0.9731225296442687
```
'''

#查看这个更复杂的param_grid
results = pd.DataFrame(grid_search.cv_results_)
results.T

（3）使用不同的交叉验证策略进行网格搜索

1、嵌套交叉验证 2、交叉验证与网格搜索并行

#1、嵌套交叉验证
#在前面我们使用GridSearchCV时，将数据单次划分为训练集和测试集，可能导致结果不稳定
#嵌套交叉验证：将原始数据使用交叉验证进行多次划分

scores = cross_val_score(GridSearchCV(SVC(),param_grid,cv=5),iris.data,iris.target,cv=5)
print("Cross-Validation scores:",scores)
print("Mean cross-validation score:",scores.mean())

'''
```
Cross-Validation scores: [0.96666667 1.         0.9        0.96666667 1.        ]
Mean cross-validation score: 0.9666666666666668
```
'''

4、参考文献

《python机器学习基础教程》