机器学习系列笔记(四)

学习的可行性

学习是不可能的?

可能拯救

连接学习

连接到真实学习

有多种情况解的问题.通过学习后的g怎么解释都可以, 比如说6/2(2+1)=9?1?这样的问题

问一个有很多红色和绿色的弹珠,想知道红色弹珠的比例有多少

sample 拿10个. 其中有多少red的

那么有引伸出霍夫丁不等式 (hoeffding’s inequality)

P[|v-u|>E]≤2exp(-2E²N)

u是总共red占全部的比例 v是sample中red占的比例 N是sample的个数 E就是容忍度

意思就是根据这个不等式可以知道 抽样越大,越接近实际值

那么当u和v一模一样的时候就是最好的情况

probably approximately correct –>PAC (大概差不多是对的,原谅我垃圾的英语)

真正的学习是要有选择的

给不同的资料选不同的线

要确认h好不好

E in 和 Eout 差得很远–>不好的data

好的data是可以让演算法h自由自在的做选择 –>当出现每个都是对的,那么就强迫演算法说这个是对的了.

Ein 是手上的资料的概率, Eout是外面资料的概率