【deeplearning.ai】第二门课：提升深层神经网络——偏差和方差

吴恩达deeplearning.ai课程第二门：提升深层神经网络的笔记。水平有限，欢迎提出错误、交流讨论~

一、偏差和方差

通过训练集和验证集来看偏差和方差。

偏差可以理解为训练集的表现，方差可以理解为验证集的表现。训练集的误差大（欠拟合）则偏差高，训练集的误差低但验证集误差大（欠拟合）则方差高。如下例所示：

↓欠拟合：没能很好地拟合训练集，高偏差（high bias）



↓适度拟合：



↓过拟合：拟合出一个非常复杂的分类器，过渡地拟合了训练集，高方差（high variance）



对于一个分类器，考察其训练集误差和验证机误差。假设训练集和验证集来自相同分布，且人眼分辨错误率几乎为0，或者最优误差（贝叶斯误差）几乎为0。

训练集误差	1%	15%	15%	0.5%
验证集误差	11%	16%	30%	1%
	过拟合，高方差	欠拟合，高偏差	高偏差，高方差	低偏差，低方差

·第一列，训练误差为1%，虽然很好地拟合了训练集，误差很低，但验证集误差很高，为11%，分类器没有很好地拟·合验证集，所以出现了过拟合，验证集误差和训练集误差相差太大，即高方差。

·第二列，训练误差和验证集误差相差不大，所以方差很低。但相对于最优误差却相差很多，分类器没有很好地拟合训练集和验证集，出现了欠拟合，所以偏差高。

·第三列，训练集误差相对于最优误差相差很多，而且验证集误差和训练集误差相差也很大，所以偏差和方差都很大。相当于下面的情况：



分类器基本上是个线性分类器，没有很好地拟合数据，但在中间某地却过拟合了部分数据，会同时出现高偏差和高方差。

·第四列，训练误差和验证误差接近于最优误差，且训练误差和验证误差相差很小，这是低偏差和低方差的情况。

二、减小偏差和方差

先提升拟合训练集的性能，即降低偏差，再降低方差。不断循环这个过程，直到偏差和方差都较低。