scikit-learn学习笔记:1.1 广义线性模型-普通的最小二乘(Ordinary Least Squares)
2016-04-19 11:26
507 查看
1.1. 广义线性模型(Generalized Linear Models)
接下来的部分是一组回归的方法,其中目标值是被期望是输入变量的线性组合。用数学符号表示,如果y^\hat{y}是预计的值。y^(w,x)=w0+w1∗x1+...+wp∗xp\hat{y}(w,x)=w_{0}+w_{1}*x_{1}+...+w_{p}*x_{p}
在整个模块中,我们设计向量w=(w1,...,wp)w=(w_{1},...,w_{p})作为
coef_并且w0w_{0}作为
intercept_
用广义的线性模型来执行分类,见逻辑回归(Logistic regression)。
1.1.1普通的最小二乘(Ordinary Least Squares)
LinearRegression是用参数w=(w1,...,wp)w=(w_{1},...,w_{p})去拟合线性模型,并且最小化在数据中观察到的响应的残差平方和,并且通过线性近似来对响应进行预测。数学上它的形式是:minw∥Xw−y∥22\min_{w}\lVert Xw-y \rVert_{2} ^2
LinearRegression将使用
fitmethod阵列X、y并且将用线性模型在它的
coef_中存储参数ww
>>> from sklearn import linear_model >>> clf = linear_model.LinearRegression() >>> clf.fit ([[0, 0], [1, 1], [2, 2]], [0, 1, 2]) #[[0, 0], [1, 1], [2, 2]] is X and [0, 1, 2] is y LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False) >>> clf.coef_ array([ 0.5, 0.5])
然而,对于普通的最小二乘系数估计要依靠于模型项的独立性。当项是相关的并且被设计的矩阵X的纵行有一个近似线性的关系,设计的矩阵变得很接近奇异,其结果,最小二乘估计对观察到的响应中的随机错误有着很高的敏感度,产生一个很大的方差。多重共线性(multicollinearity)可能会出现,例如当数据被未经实验设计所收集的情况。
Python source code
print(__doc__) # Code source: Jaques Grobler # License: BSD 3 clause import matplotlib.pyplot as plt import numpy as np from sklearn import datasets, linear_model # Load the diabetes dataset diabetes = datasets.load_diabetes() # Use only one feature diabetes_X = diabetes.data[:, np.newaxis, 2] # Split the data into training/testing sets diabetes_X_train = diabetes_X[:-20] diabetes_X_test = diabetes_X[-20:] # Split the targets into training/testing sets diabetes_y_train = diabetes.target[:-20] diabetes_y_test = diabetes.target[-20:] # Create linear regression object regr = linear_model.LinearRegression() # Train the model using the training sets regr.fit(diabetes_X_train, diabetes_y_train) # The coefficients print('Coefficients: \n', regr.coef_) # The mean square error print("Residual sum of squares: %.2f" % np.mean((regr.predict(diabetes_X_test) - diabetes_y_test) ** 2)) # Explained variance score: 1 is perfect prediction print('Variance score: %.2f' % regr.score(diabetes_X_test, diabetes_y_test)) # Plot outputs plt.scatter(diabetes_X_test, diabetes_y_test, color='black') plt.plot(diabetes_X_test, regr.predict(diabetes_X_test), color='blue', linewidth=3) plt.xticks(()) plt.yticks(()) plt.show()
Script output:
Coefficients:
[ 938.23786125]
Residual sum of squares: 2548.07
Variance score: 0.47
相关文章推荐
- POJ3009 Curling 2.0
- 推送通知自定义提示声音
- App缓存管理
- 给数据库中的表造数据
- win7系统使用百度搜索资料时自动跳转到搜狗搜索的故障原因及解决方法
- java导出pdf
- puppet自定义fact
- [转]SpringMVC 中文件上传 MultipartResolver--经典
- 关于App版本判断 与 AppStore比对
- iOS的主要常用框架介绍
- OpenCV安装
- 【mysql】:mysql性能优化的21条经验
- Android 传感器hal层分析
- UVA_474_Heads / Tails Probability
- Oracle查看错误编码命令
- IT部门的职能转变
- PHP MYSQL 搜索周边坐标,并计算两个点之间的距离
- selenium结合sikuli实现百度的图片搜索功能
- CAS实现单点登录原理与实例解析
- 简易Fragement主界面导航