在线学习算法FOBOS （一）

　　FOBOS由John Duchi和Yoram Singer提出，翻译为前进后退分离法。算法主要目的是要在进行在线学习实现以下目标

（1）减少在线学习方法只用一条样本的梯度计算产生的误差

（2）实现特征的稀疏性

　　算法原理

FOBOS将权重的更新分为两个步骤：

（1）前向标准梯度下降

　　


（2）后向梯度微调

　　


第二个步骤包括两个部分

（1）第一部分保证微调发生在梯度下降结果的附近

（2）第二个部分是进行正则化，产生稀疏性。

从公式可以看出W(t+1)不仅仅和迭代前的W（t）有关，而且与迭代后的W（t+1）有关，这也是FOBOS的由来。