深度学习：感知机perceptron

http://blog.csdn.net/pipisorry/article/details/70477057

感知机是二分类的线性分类模型，输入是特征向量，输出是类别，取值+1，-1。
感知机学习旨在求出将训练数据进行线性划分的分离超平面wx + b = 0，其中w是超平面的法向量，b是超平面的截距。
感知机模型
1.分离超平面将样本点分成两部分，位于法向量w所指向的一面是正样本，另一面则是负样本；
2.由输入空间到输出空间的模型函数如下：



策略
1.特征空间中任意一个样本点x0到分离超平面的距离可以记为：



2.感知机的模型策略是最小化误分类样本点到分离超平面的总距离（引入yi是为了消除距离公式中的绝对值，方便后续优化算法）：



不考虑||w||的影响，最终的损失函数可以记为：



（四）算法
1.感知机算法的最优化问题如下：



采用的最优化方法是随机梯度下降法（stochastic gradient descent，SGD）；
PS：



2.算法过程：
（1）选取初值w0，b0；
（2）在训练样本中随机选取数据（xi，yi）；
（3）如果样本点（xi，yi）属于误分类点，也就是满足：



那么对w，b进行更新：



其中

是步长，也称为学习率；
（4）转至（2），直至训练集中没有误分类点；
PS：（1）感知机学习算法由于采用不同的初值或选取不同的误分类点，解可以不同，也就是求出的分离超平面不止一种；
        （2）感知机学习算法适用于线性可分数据集，当训练数据集线性不可分时，感知机学习算法不收敛；

from: http://blog.csdn.net/pipisorry/article/details/70477057

ref: