机器学习系列笔记(六)

泛化理论 theory of generalization

bounding function B(N,K) :上限函数

B(N,3) break point 在3上

shatter 出现所有状况

dichotomies

有2个点 不能有2个break point ,shatter 有三种情况

有3个点, 不能有2个break point,shatter 有4种情况

所有N个点,不能有有1个break point,shatter都只有一个情况

有N个点,任何K个点不能shatter 最多能产生2的N次方种

那么B(N,K) 当N=K的时候有多少种情况 2的N次方-1

B(4,3)=2α+β

α+β≤B(3,3)

α≤B(3,2)

==>B(4,3)≤B(3,3)+B(3,2)

那么B(N,K)≤B(N-1,K)+B(N-1,K-1)

证明



第一步

把Eout代替成 Ein’

verification set D’

第二步

decompose H by kind

第三步

use hoeffding without replacement

抽出不放回

vapnik-chervonenkis(VC) bound: