Occam剃刀原理及过拟合问题

Occam剃刀原理告诉我们如果同时有两种理论能解释同一种现象，应该选择更简单的那种。

对应到机器学习中，需要在train error和overfiting error间做平衡，在两个同样能很好解释训练数据中的模型中选择那个更加简单的模型，以防止模型的过拟合。