机器学习模型评价指标

分为三个大块：1 如何利用scikit-learn进行交叉验证 2 如何评价分类模型的指标 3 如何评价线性模型的指标 4如何评价聚类模型的指标

交叉验证：

1.holdout

2.K-Fold

3.留1

2.分类模型的评价指标

最重要的：混淆矩阵confusion_matrix

其余的一些指标：准确度accuracy 所有正确的

精确率：预测1正确的在全部预测为正确1的里的数量

召回率：预测1+真实1正确的占总真实值为1的数量

特异度：0的召回率

Kappa值 p0-pe/（1-pe）

ROC曲线，AOC值

3.预测模型的评价指标

均方误差mse

均方根误差RMSE

4.预测聚类模型的指标

轮廓系数

# -*- coding: utf-8 -*-
"""
Spyder Editor

This is a temporary script file.
"""
from sklearn.metrics import confusion_matrix

class evaClassificationIndex():

def __init__(self,y_true,y_pred,y_pred_prob=None):
self.y_true=y_true
self.y_pred=y_pred
self.y_pred_prob=y_pred_prob
self.__TN=confusion_matrix(self.y_true,self.y_pred)[0][0]
self.__FP=confusion_matrix(self.y_true,self.y_pred)[0][1]
self.__FN=confusion_matrix(self.y_true,self.y_pred)[1][0]
self.__TP=confusion_matrix(self.y_true,self.y_pred)[1][1]
def getConfusionMatrix(self):
return confusion_matrix(self.y_true,self.y_pred)
def getAccuracy(self):
return (self.__TP+self.__TN)/float(self.__TP+self.__FP+self.__TN+self.__FN)
def getPrecision(self):
return (self.__TP)/float(self.__FP+self.__TP)
def getRecall(self):
return (self.__TP)/float(self.__FN+self.__TP)
def getSpecificity(self):
return (self.__TN)/float(self.__TN+self.__FP)
def getF1(self):
from sklearn.metrics import f1_score
return f1_score(self.y_true,self.y_pred)
def getKappa(self):
N=float(len(self.y_true))
p0=(self.__TP+self.__TN)/N
pe=((self.__TN+self.__FP)/N)*((self.__TN+self.__FN)/N)+((self.__FN+self.__TP)/N)*((self.__FP+self.__TP)/N)
return (p0-pe)/(1-pe)
def getROC(self):
from sklearn.metrics import roc_curve
fpr,tpr,thresholds=roc_curve(self.y_true,self.y_pred_prob,pos_label=2)
return fpr,tpr,thresholds
def getAUC(self):
from sklearn.metrics import roc_auc_score
return roc_auc_score(self.y_true,self.y_pred_prob)
#如果您想计算回归预测的各种评价指标，请使用此类
#新建回归预测对象时，请输入两个参数：y的真实值，y的预测值
class evaRegressionIndex():
def __init__(self,y_true,y_pred):
self.y_true=y_true
self.y_pred=y_pred
def getMAE(self):
from sklearn.metrics import mean_absolute_error
return mean_absolute_error(self.y_true,self.y_pred)
def getMSE(self):
from sklearn.metrics import mean_squared_error
return mean_squared_error(self.y_true,self.y_pred)
def getRMSE(self):
import math
from sklearn.metrics import mean_squared_error
return math.sqrt(mean_squared_error(self.y_true,self.y_pred))
#如果想计算聚类的评价指标，请使用此类
#请输入三个参数，样本矩阵X，标签y的真实值，y的预测值
class evaclusterIndex():
def __init__(self,X=None,y_true,y_pred=None):
self.X=X
self.y_true=y_true
self.y_pred=y_pred
self.__ss=0
self.__sd=0
self.__ds=0
self.__dd=0
for i in range(len(y_true)):
for j in range(i+1,len(y_true)):
if (y_pred[i]==y_pred[j])and(y_true[i]==y_true[j]):
self.__ss+=1
if (y_pred[i]==y_pred[j])and(y_true[i]!=y_true[j]):
self.__sd+=1
if (y_pred[i]!=y_pred[j])and(y_true[i]==y_true[j]):
self.__ds+=1
if (y_pred[i]!=y_pred[j])and(y_true[i]!=y_true[j]):
self.__dd+=1
def getsi(self):
from sklearn.metrics import silhouette_score
return silhouette_score(self.X,self.y_pred,metric='sqeuclidean')
def getRandIndex(self):
return (self.__ss+self.__dd)/float(self.__ss+self.__dd+self.__ds+self.__dd)
def getJaccardCoeff(self):
return self.__ss/float(self.__sd+self.__ss+self.__ds)
def getFMIndex(self):
import math
return math.sqrt(self.__ss/float(self.__ss+self.__sd)*self.__ss/float(self.__ss+self.__ds))

评价：1。命名方式：用谷歌的命名方式，Python中类是用驼峰法，函数都是用下划线的小写字母法

2。注释，应该写在函数的下边，以后别人调用你函数的时候，如果看不懂，可以访问并看到你的注释。

3。import一定要写在最前面。原因：每次你调用这个函数的时候，都要重新import一次，这样时间复杂度会很高。

4。有的不用写入数据的，可以写作None。其实如果你想输入12，或13，可以把2,3两个都设成None，然后加一个判断if语句，如果2和3都没有输入，则return一个错误