初级算法梳理 任务一 线性回归算法梳理

学习内容

1. 机器学习的一些概念
   有监督：已知要划分的类别，并且能够获得一定数量的类别已知的训练样本，这种情况下建立分类器的问题属于监督学习问题。
   无监督：事先不知道要划分的是什么类别，更没有类别已知的样本用作训练，在很多情况下甚至不知道有多少类别，我们要做的是根据样本特征将样本聚成几个类。这种情况下建立分类器的问题属于无监督学习问题。
   附：https://blog.csdn.net/zwj256920/article/details/80529545（有监督学习与无监督学习的几大区别）
   泛化能力：对未知数据的预测能力，我们通常用测试数据的测试误差来来评价泛化能力，但是由于测试数据集是有限的，测试误差很依赖测试数据集，所以需要在更多的未知的甚至全数据集合上评价其泛化能力

过拟合：指模型在训练集、验证集和测试集上均表现不佳的情况
欠拟合：过拟合是指模型在训练集上表现很好，到了验证和测试阶段就大不如意了，即模型的泛化能力很差
方差和偏差以及各自解决办法：
https://blog.csdn.net/zhangyingjie09/article/details/84334045
交叉验证：通过对 k 个不同分组训练的结果进行平均来减少方差，因此模型的性能对数据的划分就不那么敏感。
第一步，不重复抽样将原始数据随机分为 k 份。
第二步，每一次挑选其中 1 份作为测试集，剩余 k-1 份作为训练集用于模型训练。
第三步，重复第二步 k 次，这样每个子集都有一次机会作为测试集，其余机会作为训练集。在每个训练集上训练后得到一个模型，用这个模型在相应的测试集上测试，计算并保存模型的评估指标，
第四步，计算 k 组测试结果的平均值作为模型精度的估计，并作为当前 k 折交叉验证下模型的性能指
原文：https://www.geek-share.com/detail/2709018171.html

1. 线性回归的原理
   在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合

2. 线性回归损失函数、代价函数、目标函数
   损失函数（Loss Function ）是定义在单个样本上的，算的是一个样本的误差。
   代价函数（Cost Function ）是定义在整个训练集上的，是所有样本误差的平均，也就是损失函数的平均。
   目标函数（Object Function）定义为：最终需要优化的函数。等于经验风险+结构风险（也就是Cost Function + 正则化项）。
   原文：https://www.geek-share.com/detail/2731045126.html

3. 优化方法(梯度下降法、牛顿法、拟牛顿法等)
   梯度下降法：通过一步一步迭代，边训练数据，边调整参数，计算偏导，使回归使终是保持梯度下降的，即最优，来得到最小化的损失函数和此时的模型参数值
   牛顿法：在梯度下降原理基础上，优化的二阶收敛，下降过程中采用二次曲面，考虑了每走一步对当前最大角度产生的影响，梯度下降是一阶收敛，一个平面下静态的拟合局部，只考虑了本步静态的最大方向。
   所以牛顿法比梯度下降法下降要快。
   拟牛顿法：在每一步迭代时只要求知道目标函数梯度，通过测量梯度变化构造一个目标函数的模型，使之产生超线性收敛性。不需要二阶层数信息。可以用来解决无约事，约事，和大规模的优化问题。

5、线性回归的评估指标
SSE(和方差、误差平方和)：The sum of squares dueto error
MSE(均方差、方差)：Meansquared error
RMSE(均方根、标准差)：Root mean squared error
R-square(确定系数)：Coefficientof determination
Adjusted R-square：Degree-of-freedomadjusted coefficient of determination
原文：https://blog.csdn.net/qq_21840201/article/details/80428526

6、sklearn参数详解：https://blog.csdn.net/qq_42370261/article/details/84852595

1.https://github.com/JRXGUGI/PrimaryAlgorithm_DataWhale_201903/blob/master/day1：线性回归算法梳理.md
2.https://blog.csdn.net/baidu_22225919/article/details/88019207
3.https://github.com/yaojunguo123/ml/blob/master/firstday/first.py
4.https://blog.csdn.net/Smile_Smilling/article/details/88044978