机器学习基石 2.3 Guarantee of PLA

Linear Separability

PLA Fact wtmathbfw_t Gets More Aligned with wfmathbfw_f

PLA Fact wtmathbfw_t Does Not Grow Too Fast

Fun Time

1. Linear Separability

对于一个数据集，如果PLA能够停下来并且不犯错误，就称这样的为线性可分的。

2.PLA Fact: wt Gets More Aligned with wf

数据集是线性可分的，等价于存在一个完美的 wf，使得

yn=sign(wTtwn)



即

∀n∈[1,N],ynwTfxn>0

则对于在第t轮使wt犯错的那个xn(t)，有

yn(t)wTfxn(t)⩾min(ynwTfxn)>0

则



这就说明了wTfwt这个内积是随着t的增大而不断增大的。

3.PLA Fact: wt Does Not Grow Too Fast

这个算法还有一个重要的性质就是犯错了才修正。



则



由上面两个结论可以推出



证明：

令R2=max(∥xn∥2),ρ=min(ynwTf∥wf∥xn)

当T=1时，

wTf∥wf∥w1∥w1∥⩾wTf(w0+min(ynxn))∥wf∥∥w0∥2‾‾‾‾‾‾‾√+max(∥ynxn∥2)=wTfmin(yn(t)xn(t))∥wf∥max(∥ynxn∥2)‾‾‾‾‾‾‾‾‾‾‾‾‾‾√=ρR=constant

假设当T=t时结论成立，当T=t+1时，

wTf∥wf∥wt+1∥wt+1∥⩾wTf(wt+min(ynxn))∥wf∥∥wt∥2‾‾‾‾‾‾√+max(∥ynxn∥2)

又因为

wTf∥wf∥wt∥wt∥⩾t√⋅ρR

设

wTfwt=kρ

则

∥wf∥∥wt∥⩽kt√R

带入易得

wTf∥wf∥wt+1∥wt+1∥⩾t+1‾‾‾‾‾√⋅ρR

得证。

4.Fun Time