偏差，方差，训练误差，测试误差的区别

偏差：就是

预测值的期望

 离

所有被预测的样本的真实值的``距离的期望。
刻画了学习算法本身的拟合能力。 

方差：就是

预测值的期望

离

所有被预测的样本的预测值的“距离的期望。刻画了数据扰动所造成的影响。 

预测值的期望就好像测试集所有点的中心。

注意
我们在实际中，为评价模型的好坏，从总数据集中抽取一部分作为自己的测试集。上面提到的预测值，是用模型拟合测试数据时得到的预测值。所以我们不仅仅拥有一些样本的预测值，还有这些样本的真实值。
测试误差就是泛化误差
误差（包括训练误差，测试误差）=偏差+方差+噪声
训练误差是测试误差的欠估计情况 。模型的泛化误差(generalization error)不仅包括其在样本上的期望误差，还包括在训练集上的误差。所以我们还是先最小化训练误差。
我们的最终目的就是最小化泛化误差，即测试误差。只要测试误差最小，就不用管训练误差。
上面方差和偏差的概念里，只谈到测试集的预测值，跟训练集一点关系都没有。
训练集是用来拟合模型，通过比较训练误差的大小，得到模型的参数的
测试集是用来评价模型的，我们想最小化测试误差，则通过计算模型对测试集的偏差，方差的情况，分析该如何减小测试误差
所以对训练误差不谈偏差和方差，只要一心最小化训练误差即可。

当我们确定一个模型时，可以通过比较偏差，方差情况看看，我们是最大我们的训练长度还是减小我们的训练程度。

在特征一定的情况下，我们是先用训练集，通过最小化训练误差，以此来拟合出一个模型，再用测试集（假如有n个测试样本）去测试该模型，得到n个测试数值，再求出他的测试误差，用该测试误差来评价该模型的好坏

最小训练误差，用来对特定模型拟合出该模型的参数 

通过对比不同的模型的测试误差，选出最小的测试误差对应的模型就是我们需要的模型。 

所以 

找到最小测试误差，用来选定模型的。

（因为同一个问题，有不同算法n个，同一个算法又有不同参数m个，不同的参数就对应着不同的模型（网格搜索算法）。用最小训练误差，对各个不同的模型算出其参数，再对各个不同的模型算出其对应的训练误差，通过比较m*n个训练误差得到训练误差最小的模型）

何为误差

机器学习中的Bias(偏差)，Error(误差)，和Variance(方差)有什么区别和联系？

偏差和方差有什么区别？