svm的loss和梯度推导及代码

svm的loss和梯度推导及代码

 这个是svm的计算方式的数学实现，相信大家应该已经很熟悉了，svm算法就是对于每一个样本，计算其他不正确分类与正确分类之间的差距，如果差距大于delta那就说明差距大，需要进行进一步优化，所以对于每个样本，把这些差距加起来，让他们尽量小，这个就是svm的核心思想。

 loss就很简单了，还是直接求和。

 而梯度，求导相对于softmax就简单了很多，没有复杂的指数求导，我们发现对于w来说，还是一共有wj和wyi两个参数，分别对其求导，其中max函数在括号里面小于0的时候，梯度肯定等于0。接下来就是看大于0的时候，如下，很简单易懂。

代码块

 对于naive算法，assignment上很友善的直接给出了，事实上应该先做svm在做softmax的，还是太年轻哈哈哈，可以看出代码大概跟我们的公式结果一样，如下：

def svm_loss_naive(W, X, y, reg):
"""
Structured SVM loss function, naive implementation (with loops).

Inputs have dimension D, there are C classes, and we operate on minibatches
of N examples.

Inputs:
- W: A numpy array of shape (D, C) containing weights.
- X: A numpy array of shape (N, D) containing a minibatch of data.
- y: A numpy array of shape (N,) containing training labels; y[i] = c means
that X[i] has label c, where 0 <= c < C.
- reg: (float) regularization strength

Returns a tuple of:
- loss as single float
- gradient with respect to weights W; an array of same shape as W
"""
dW = np.zeros(W.shape) # initialize the gradient as zero
# compute the loss and the gradient
num_classes = W.shape[1]
num_train = X.shape[0]
loss = 0.0
final_result = []
for i in range(num_train):
scores = (X[i]).dot(W)
correct_class_score = scores[y[i]]
for j in range(num_classes):
if j == y[i]:
continue
margin = scores[j] - correct_class_score + 1 # note delta = 1
if margin > 0:
loss += margin
dW[:,y[i]] += -X[i].T
dW[:,j] += X[i].T
loss /= num_train
dW /= num_train
loss += 0.5*reg * np.sum(W * W)
dW += reg * W
return loss, dW

 对于向量化，需要说的就多一点了。我喜欢把W与X的点乘结果叫做得分矩阵，也有人不这么叫。根据公式，需要和正确类做差，所以我们另外声明一个和的分矩阵一个维度的正确矩阵，那这个矩阵首先在每个样本对应的正确类别处对应的元素得是1，其实我们的目的，就是把correct矩阵变成每一行都是正确类别分数的结果，这样做差的时候才能是公式那样的结果。correct的第一步赋值先变成了只有样本的正确类别有效，然后reshape首先压缩成一个【样本数，1】的矩阵，然后做差的时候，根据broadcast属性，会自动延展成【样本数，类别数】的矩阵，numpy在做这种事情的时候真的是很方便，小白感觉很神奇啊。。。

 求Loss的时候，直观上看是把每一行的结果相加，先和0取最大值，小于0的无效。然后把矩阵整个求和，做归一化和regularization就行。

 求梯度的话，公式是xi的转置，加的次数是j次，这个j就是没有正确分类的情况，所以我们看这种情况有多少个，就是把每一行之前求loss有效的结果先置1，再加起来的个数，由于每次修正错误列的时候还会修正一次正确类别的列，所以直接把这个加和结果rowsum取相反数就是正确类列的导数，乘以X的转置，归一化，regularization。

def svm_loss_vectorized(W, X, y, reg):
"""
Structured SVM loss function, vectorized implementation.
Inputs and outputs are the same as svm_loss_naive.
"""
loss = 0.0
dW = np.zeros(W.shape) # initialize the gradient as zero
scores = X.dot(W)
correct = scores[np.arange(X.shape[0]),y]
correct = np.reshape(correct,(X.shape[0],1))
s_l = scores - correct + 1.0
s_l[np.arange(X.shape[0]),y] = 0.0
s_l[s_l<=0] =0.0
loss += np.sum(s_l)/X.shape[0] + 0.5*reg*np.sum(W*W)
s_l[s_l>0] = 1.0
row_sum = np.sum(s_l,axis = 1)
s_l[np.arange(X.shape[0]),y] = -row_sum
dW += np.dot(X.T,s_l)/X.shape[0] + reg*W
return loss, dW