您的位置:首页 > 其它

参数的范数正则/惩罚(parameter norm penalties)

2017-01-02 21:45 246 查看

1. L2 范数

J~(w;X,y)=J(w;X,y)+α2wTw

J 表示的是原始的目标函数,J~ 则是二范数约束后的新的目标函数。

则根据梯度下降算法有:

∇wJ~=∇wJ+αw

w←w−ϵ∇wJ~=w−ϵ(∇J+αw)

w←(1−αϵ)w−ϵ∇J
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: