机器学习基石-05-3-Effective Number of Hypotheses

Dichotomies: Mini-hypotheses，dichotomy意思是一分为二，就是将普通的都转换成二分的。



用来代替M的部分就是可行的假设h的个数，包含所有可能存在的情况，比如inputs为2时，可能是6也可能是8。

但是这个想要代替M的部分会受到inputs（x1,x2,x3……）的影响，那么如何去除这种影响呢？






取所有inputs中的最大值来代替对应的

，就不用再去考虑每一种情况只需要分析最大值的情况，[b]也就是上一节课中的effective（N）的含义。比如inputs为2时，不考虑为6的情况，只考虑为8的情况！！！[/b]

[b]


[/b]



How to ‘calculate’ the growth function?

成长函数growth function最多最多有2的N次方个。

1.growth function for positive rays





positive rays也就是1维感知机perceptron的一半，只考虑了正向的部分。

当有4个点时是怎么分的？











补充：growth function for positive and negative rays，也就等价于一维感知机

此时的成长函数=2（N-1）+1+1=2N，其中两个1分别代表：全是圆圈和全是叉叉的情况。

2.growth function for positive intervals，正向区间






当inputs为4时，






前4个，区间的起点在x1的左边，保证x1是在区间内，划分为“圆圈”，再将区间的右端点依次向右移动，依次将x2,x3,x4包括进来，其中包括全部都是“圆圈”；

接下来的3个，区间的起点在x1的右边，保证x1在区间外，划分为“叉叉”，再依次将右端点往右移动；

再接下来的3个，区间的起点在x2的右边，保证x1,x2都在区间外，划分为“叉叉”，再依次将右端点往右移动；



最后的3个，区间的起点在x3的右边，保证x1,x2,x3都在区间外，划分为“叉叉”，再将右端点往右移动；





解释一下上面的成长函数，就相当于从N+1（N个inputs可以分为N+1个部分）个节点中抽取两个点作为区间的两个端点，但是其中没有包含“全部都是叉叉”的情况，前端点和后端点取到同一个节点的情况，所以需要加上1.


3.growth function for convex sets凸集










convex sets是二维的，蓝色区域是h(x)=+1的情况，粉色区域是h(x)=-1的情况。

对其进行极端的假设，N inputs(x1,x2,x3……)都分布在蓝色区域圆圈的边缘上，所以把边界上的h(x)=+1的点全部连接起来就是一个凸多边形，保证凸多边形内部都满足h(x)=+1.











把这些N inputs称为“shattered”打碎的。

4种成长函数growth function











多项式：good；指数：bad。

不等号在上面的四种成长函数中都满足吗？

第一种，满足不等式，不等号前面的部分是多项式，后面的指数函数在N足够大时会很快地减小，可以满足小于等于；

第二种，满足不等式，不等号前面的部分是多项式；

第三种，不一定满足不等式，在不等号前面的部分也是指数，无法判断不等号前后的大小关系；

第四种呢？2维感知机的成长函数到底是指数还是多项式？下一节课再来解释。