FPGA机器学习之stanford机器学习第九堂

接下来他要讲的内容是，如何使用好这些工具。

开始的时候说了一些过拟合，欠拟合线性。

为了方便理解，来一个简化版机器学习模型。


被假设错误分类的训练样本数的和。 叫ERM


最小化。这个是最基本的学习算法。训练误差最小化。

假设类H（集合），线性分类器。 x输入只能是0和1.

训练误差最小。

下面描述的是，分辨准确率。

这个被叫做联合界



Hoeffding inequality
hoeffding不等式。

z随机变量。 属于Bernoulli distribution。

然后就会有这个式子。


根据hoeffding 不等式得到的。



假设k个假设类。 目前只考虑有限假设类。


下面要说明圈1和圈2，两个定理。

1，一般误差很好的近似。2，ERM输出的假设的一般误差存在上界。


。下面有用到



两边1减去一下得到。



得到的结论是：在不小于某个概率的情况下，



我很懒，我就不翻译成中文了。

r和m都是给定的。




误差边界。给定m和k求r



就算是非线性可分，它的效果也是最好的。


三个结论。





这里要求m


需要了解这个结论与以前逻辑的关联。这个对后面无限假设类很有用。


本人能力有限。但是我努力把我的认知分享。到现在我已经很多都无法理解了。只能为自己留一个概念，为后面学习来些基础。