机器学习基石 7.4 Interpreting VC Dimension

VC Bound Rephrase Penalty for Model Complexity

THE VC Message

VC Bound Rephrase Sample Complexity

Looseness of VC Bound

Fun Time

VC Bound Rephrase: Penalty for Model Complexity

VC Bound：



改述：好事情发生（GOOD）



gen.error：generalization error

得到Eout的范围。



根号这一项被叫做model complexity。

THE VC Message

横轴是VC dimension，纵轴是Error。

model complexity随着VC dimension的变大而变大。

VC dimension增大后，可以shatter的点变多（hypothesis变强），Ein减小。

VC dimension增大后，模型复杂度（model complexity）增大，导致要付出的代价变大。

所以Eout通常会先减后增。

强大的（Ein很小）并不总是好的。

VC Bound Rephrase: Sample Complexity

VC Bound：



一个例子：



然而实践上一般10dVC的资料就够用了。

Looseness of VC Bound

上面的例子说明了VC Bound实际上是很宽松的。



原因：



对于不同的模型，VC Bound 的宽松程度实际上是差不多的。

Fun Time