周志华 《机器学习》之 第十二章（计算学习理论）概念总结

看到12章，题目叫计算学习理论，当时一萌，这是干什么用的呢？前面的章节中基本都是讲述了一些机器学习的一些常用方法。看到这个标题我的第一反应应该是理论方面的研究，那是否对计算与学习这两方面的理论研究呢？既然是理论的东西，我想对于一般应用机器学习算法的来说，可能意义不大吧！但是我个人认为有可能也可以指导我们进行算法设计。周老师数据对计算学习理论这么描述的，（是关于机器学习的理论基础，其目的是分析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法设计）

1、基础知识

独立同分布样本：

泛化误差：

令h 为从X到Y的一个映射，其泛化误差为

E(h;D)=Px−D(h(x)≠y)

h在D上的经验误差为

E^(h;D)=1m∑i=1mⅡ(h(xi≠yi))

如果D是D的独立同分布采样，因此h的经验误差的期望等于其泛化误差。

因此本章就主要研究经验误差与泛化误差之间的逼近程度。

2、PAC学习

概率近似正确（PCA）

3、有限假设空间

4、VC维

5、Rademacher复杂度

6、稳定性