概念学习和一般到特殊序

注：本文是《Mitchell机器学习》学习笔记

概览

1 概念学习：给定某一类别的若干正例和反例，从中获得该类别的一般定义，这也是归纳的直观意义。由于类别的定义即是确定一个对象是否属于该类别的东西，因此它等价于推断一个布尔函数。

2 假设空间存在一般到特殊序关系的自然结构，即偏序。假设就是一系列的限制，限制少或宽松的假设集包含限制多或严格的假设集。如同多项式函数包含线性函数一样。

3 概括地说，FIND-S寻找极大特殊假设是种假设空间的搜索策略，它从最特殊假设开始，随着训练样例的出现逐步泛化假设，使假设刚好包含已出现的样例。很显然，这种泛化是与样例的出现顺序相关的，不同的泛化路径会得到不同的假设，当然也可能相同。在泛化过程中，如果假定假设空间H确实包含真正的目标概念c，且训练样例中不包含错误，那么可以直接忽略反例。可以证明，h不需要因反例的出现而更改。

4 假设空间H中与训练样例D一致的所有假设构成关于H和D的变型空间（version space），记为VS（H,D）

5 一种直观的寻找VS的方法：List-Then-Eliminate。列出所有假设，删除不一致的假设，得到VS。

6 VS（H,D）可以由H和D的一般边界G及特殊边界S来确定。G是一致的极大一般假设集合，S是一致的极小特殊假设集合。

7 变型空间表示定理：


书中给出了左到右的证明，此处给出右到左的。

使用反证法：假定VS中某一假设h不满足等式右边。其中，h>g或h<s的情况是显然矛盾的。现在考虑h与g，s不存在偏序关系的情形。由假设空间一般到特殊序的自然结构，一定存在一个假设h’，使h’>g，h’>h且h’是g与h泛化后的极小一般假设。因为h属于变型空间，则h与D一致，因此h’与D一致。这与g是一般边界矛盾。

8 概况地说，候选消除算法（Candidate Elimination）就是从最大一般边界与最小特殊边界开始，随着训练样例的出现不断特化一般边界，泛化特殊边界。从第一个层面上讲，正例应该是用来泛化特殊边界的，因为它开始时不能包含当前正例；而反例是用来特化一般边界的，因为开始时它把当前反例包含了进来。但是从第二个层面上来讲，在泛化特殊边界的同时要保证它不能比一般边界还一般，因为此时的一般边界是以前所有反例的摘要说明，泛化时你只要保证不会超出当前一般边界就可以保证与以前所有反例相一致。同理，特化一般边界的同时要保证它不会比特殊边界还特殊，否则就不能包含以往的正例。

9 当假设空间中不只有一个成员时，需要提出查询样例以确定最终的目标概念。概念学习的最优查询策略是产生实例以满足当前变型空间中大约半数的假设。这样目标概念就可在log|VS|次实验后得到。

10 归纳推理的一个基本属性：学习器如果不对目标概念的形式做预先的假定，它从根本上无法对未见实例进行分类，即无偏学习的无用性（这里的无偏学习导致了训练实例的百分百拟合，未见实例正反各半的分类投票）。

11 归纳与演绎：

令L（xi，Dc）表示在对训练数据Dc学习后L赋予xi的分类。则


，其中

表示z从y归纳推理得到。

由于L是一归纳学习算法，则一般情况下L（xi，Dc）这一推论出的结果正确性无法证明；也就是说，分类L（xi，Dc）并非从训练数据Dc和新实例xi中演绎派生。问题就是，需要在

上附加怎样的前提，以使L（xi，Dc）能演绎派生。这些附加的前提集合就是归纳偏置B。

由上，演绎是严格的推导，而归纳不是，归纳是特殊实例的一般化，不一定能证明。


，y|-z表示z从y演绎派生。

11 在某种意义上，归纳偏置只在我们的印象中存在，但它确实是能被完整定义的断言集合。更强的归纳偏置往往意味着更强的泛化能力。用归纳偏置来刻画归纳系统，可以便于使用等价的演绎系统来模拟它们。如图：



问题：

1 如果假定H中所有假设有相等的先验概率，那么投票的方法能得到新实例的最可能分类。贝叶斯方法证明？

2 归纳与演绎的数学定义？