关于LogisticRegression及其应用
2017-12-17 11:33
211 查看
1.算法简介
Logistic回归是在线性回归基础上,针对线性回归的缺陷(误差统计独立假设,从属关系函数非概率)进行改进后的算法。它将目标变量进行转换后,在此基础上建立线性模型。变换过程为logit transformation:logit(pro) = log(pro) / (1 - log(pro))。其逆变换为sigmoid transformation:sigm(x) = 1 / (1 + e ^ (-x)),以及结果模型。之后确定下估价函数x中线性表达到参数即可:x = sigma(w[i] * a[i]),其中w为带确定权值,a为属性值。对于给定的训练样例,或者是待预测样例,通过估价函数给出估值,再经过sigmoid变换将R上到估值转换为[0, 1]上到概率值。
以上为logistc回归的基本思想。在实验中,我们使用logistic回归来处理分类问题。如何实现呢?
事实上,任何回归技术,无论是线性到还是非线性的,都可以用来分类。技巧是对每一个类执行一个回归,是属于该类的训练实例的输出结果为1,而不属于该类到输出结果为0。得到各类到回归函数(亦称为从属关系函数,membership function),对于给定的未知类的测试实例,计算每个回归估价,并选择其中最大到作为分类结果。这种方法有时称为多反馈回归(multi-response regression)。
2.函数库api
使用numpy, matplotlib, sklearn 可以在python上实现大多机器学习算法。numpy 为python的科学计算库,主要提供数据结构支持;matplotlib 为可视化函数库,有出色的显像功能;sklearn 为机器学习算法库,提供丰富的算法接口。Logistic Regression是sklearn.linear_model下的一个算法(类)。主要api如下:
Attributes:
coef_intercept_
注*:coef(ficients)为所确定的参数,intercept为常数参数
Methods:
fit(X, y[, sample_weight])predict(X)
score(X, y[, sample_weight])
注*:fit为对给定的训练实例及其结果建立回归模型,predict再模型上进行预测,score为训练实例得分(按准确率计算)。注意这里的回归模型直接给出分类,而不是每个类的概率值。
3.算法应用
二分类问题多分类问题
1.二分类问题
logistic regression 可以在回归模型下直接处理二分类问题。由于二分类中只有两类结果,非此即彼,因此并不需要建立两个成员函数。直接将回归值与0.5做比较,大于0.5的分为一类,否则分为另外一类。
在下面的实验中,通过正态分布生成数据,并加入高斯噪音,作为实验数据。
import numpy as np import matplotlib.pyplot as plt from sklearn import linear_model def sigmoid(x): return 1 / (1 + np.exp(-x)) # Synthesize the normal distributed data with Gaussian noise n_samples = 30 np.random.seed(0) X = np.random.normal(size=n_samples) X[X > 0] *= 4 X += .3 * np.random.normal(size=n_samples) ''' The author put the classification before noise added. What's the difference and why? ''' Y = (X > 0).astype(np.float) X_test = np.linspace(-5, 10, 300) # Initialize the classifier X = X[:, np.newaxis] logreg = linear_model.LogisticRegression(C=1e5) logreg.fit(X, Y) # Visualization plt.figure(1, figsize=(8, 6)) plt.ylabel('Class') plt.xlabel('X') plt.xticks(range(-5, 10)) plt.yticks([0, 0.5, 1]) plt.ylim(-.25, 1.25) plt.xlim(-4, 10) plt.scatter(X.ravel(), Y, c='k') coef = logreg.coef_.ravel()[0] intercept = logreg.intercept_.ravel()[0] plt.plot(X_test, sigmoid(coef * X_test + intercept), label='Regression Curve') plt.axhline(.5, c='.5', linestyle='--', label='Decision Boundary') font = { 'family' : 'serif', 'color' : 'k', 'weight' : 'normal', 'size' : 12 } plt.text(5, 0.25, 'Reg(x) = Sigmoid(%.2f * x + %.2f)'%(coef, intercept), horizontalalignment='center', fontdict=font) plt.legend() plt.show()
2.多分类问题
导入sklearn数据集iris,选取前两个特征作为实验数据。
from sklearn import datasets from sklearn import linear_model import numpy as np import matplotlib.pyplot as plt def sigmoid(x): return 1 / (1 + np.exp(-x)) # Load dataset and pick up the needed iris = datasets.load_iris() X = iris.data[:, :2] Y = iris.target B = iris.feature_names[:2] # Initialize the classifier logreg = linear_model.LogisticRegression(C=1e5) logreg.fit(X, Y) coef = logreg.coef_ intercept = logreg.intercept_ # Matrix build res = .05 x_min, x_max = X[:, 0].min() - .5, X[:, 0].max() + .5 y_min, y_max = X[:, 1].min() - .5, X[:, 1].max() + .5 xx, yy = np.meshgrid(np.arange(x_min, x_max, res), np.arange(y_min, y_max, res)) Z = logreg.predict(np.c_[xx.ravel(), yy.ravel()]) print(logreg.score(X, Y)) Z = Z.reshape(xx.shape) # Visualization plt.figure(1, figsize=(8, 6)) plt.xlim(x_min, x_max) plt.ylim(y_min, y_max) plt.xlabel(B[0]) plt.ylabel(B[1]) plt.pcolormesh(xx, yy, Z, cmap=plt.cm.Set1) plt.scatter(X[:, 0], X[:, 1], c=Y, edgecolors='k', cmap=plt.cm.Set1) plt.show()
使用matplotlib Axes3D可以清楚的看到logistc函数在分类中的作用。
import numpy as np import matplotlib.pyplot as plt from sklearn import datasets from sklearn import linear_model from mpl_toolkits.mplot3d import Axes3D def sigmoid(x): return 1 / (1 + np.exp(-x)) def linear_com(data, c, i): return data[0] * c[0] + data[1] * c[1] + i # Load dataset and pick up the needed iris = datasets.load_iris() X = iris.data[:, :2] Y = iris.target B = iris.feature_names[:2] # Initialize the classifier logreg = linear_model.LogisticRegression(C=1e5) logreg.fit(X, Y) coef = logreg.coef_ intercept = logreg.intercept_ # Matrix build res = .1 x_min, x_max = X[:, 0].min() - .5, X[:, 0].max() + .5 y_min, y_max = X[:, 1].min() - .5, X[:, 1].max() + .5 xx, yy = np.meshgrid(np.arange(x_min, x_max, res), np.arange(y_min, y_max, res)) xi = xx.ravel() yi = yy.ravel() tot = len(xi) val = [] for i in range(3): tmp = [] for p in range(tot): tmp.append(sigmoid(linear_com([xi[p], yi[p]], coef[i], intercept[i]))) tmp = np.array(tmp) tmp = tmp.reshape(xx.shape) val.append(tmp) val = np.array(val) # Visualization fig = plt.figure(1, figsize=(15, 4)) for i in range(3): ax = fig.add_subplot(1, 3, i + 1, projection='3d') ax.plot_surface(xx, yy, val[i], cmap=plt.cm.coolwarm, linewidth=0, antialiased=False) ax.set_xlabel(B[0]) ax.set_ylabel(B[1]) ax.set_zlabel('possibility of type ' + str(i)) plt.show()
相关文章推荐
- 关于斐波那契数列的性质及其应用
- 关于Http Session的概念和原理及其应用
- 解析关于SSL***技术原理及其应用全面
- 关于角权树及其应用
- 关于高维超正体(cross-polytope)的性质及其应用
- 关于优先队列 priority_queue 的介绍及其应用
- RS485串行总线可靠性的研究 关于RS485工程应用可能遇到的问题及其解决思路
- 一道 SQL 题 ... (关于树型结构的在关系表中的存储及其应用处理)
- 离散数学及其应用中文版47页中关于超人不存在的题目,确定是翻译错误
- 关于二叉堆(优先队列)的其他操作及其应用
- 关于二叉堆(优先队列)的其他操作及其应用
- 关于Git及其基础应用
- 一道 SQL 题 ... (关于树型结构的在关系表中的存储及其应用处理)
- iOS 关于%p、二级指针及其应用
- 关于栈及其应用演示样例
- 关于栈及其应用示例
- 关于window.location.has 4000 h的理解及其应用
- 一道SQL题...(关于树型结构的在关系表中的存储及其应用处理)
- 关于TCP保活功能及其应用
- LWIP[转]关于TCP保活功能及其应用