Infinite size of Hypothesis set and growth function

We want:


根据Hoeffding:



但是M是无穷大的，是否可以找到一个有穷大的m_H去替代无穷大的M？
思考：M从何而来。


Hset里有M个h，对于每个Data，只要存在一个h会造成Bad，即Ein和Eout差很远，则称该Data是一个Bad sample，因此是用or的关系。这里的upper bound之所以是可以加起来的，是因为假设了Bad sample发生在不同的h上，即h1(D1)是Bad的，h2(D1)就不会Bad。但是这种假设是不对的。例如：对于两个很接近的h，他们对于同一个Data，会产生几乎接近的Ein。


所以不能通过直接把概率相加起来的办法作为Bad产生的概率上限。
考虑：可否将线，也就是h分组。结论是可以的。
方法：对于N个x，从x_1到x_N，即使h是无限个的，但是通过这些h，把这N个x分出来的结果是有限个的，例如对于N等于2，x1和x2被分的所有可能就只有4种。00,01,10,11。





定义：一个Hset是由很多个用来区分x的h组成的，表达如下：



现在定义二分（dichotomy）：


Hset和dichotomy set的区别



定义dichotomy set的大小



这是依赖于输入的N。为了去除这种依赖，定义成长函数growth function:



怎样计算m_H(N)呢？
1D情况1：positive ray在threshold左边为－1右边＋1



m_H(N) = N+1。因为有N+1个地方可以放分割线。
情况2：在interval内为＋1，其他为－1





右边的1那一项表示没有点在interval内，即全部是－1
2D情况：在convex set内为+1，外面为－1。假设输入的N个x在一个大圆上，那么H里的所有h都可以实现不同的dichotomy。



shattered：特别的N个点，可以做出2^N个dichotomy。
总结：



定义：break point
第一个做不出2^k个dichotomy的点的个数(e.g：2d：k=4) convex set没有break point



以下的情况是h没有办法产生的dichotomy