CS231n作业笔记1.3：SVM的误差函数以及反向传播（非向量及向量算法）

CS231n简介

详见 CS231n课程笔记1：Introduction。

注：斜体字用于注明作者自己的思考，正确性未经过验证，欢迎指教。

作业笔记

SVM的Loss Function请参考 CS231n课程笔记3.1：线性分类器（SVM，softmax）的误差函数、正则化。

1. 非向量的误差计算

这部分属于作业自带部分，使用loop计算，如果margin大于0，就叠加，最后加入正则项。

2. 非向量的梯度计算

通过上部分所示，loss为诸多margin的和，所以只需要在累加margin的部分同时计算反向传播。注意反向传播的时候，反向传播的初始值为1，即dLoss=1（不是Loss，也不是-1）。

num_classes = W.shape[1]
num_train = X.shape[0]
loss = 0.0
for i in xrange(num_train):
scores = X[i].dot(W)
correct_class_score = scores[y[i]]
for j in xrange(num_classes):
if j == y[i]:
continue
margin = scores[j] - correct_class_score + 1 # note delta = 1
if margin > 0:
loss += margin
dW[:,j] += X[i,:]
dW[:,y[i]] -= X[i,:]

loss /= num_train
dW /= num_train

loss += 0.5 * reg * np.sum(W * W)
dW += reg*W

3. 向量化的误差计算

首先，利用numpy的broadcasting把一维向量，复制到每一维。即[[0],[0]]+[1,2,3] = [[1,2,3],[1,2,3]]。

其次利用复制好的range(n)，然后等于y，得到y_mask。然后y_mask与scores相乘得到correct_scores。

num_classes = W.shape[1]
num_train = X.shape[0]

scores = X.dot(W)
y_mask = (np.arange(num_classes)+np.zeros([num_train,1]) == y.reshape([num_train,1]))
correct_scores = np.sum(y_mask * scores,axis = 1,keepdims=True) + np.zeros([1,num_classes])

scores_dif = scores - correct_scores + 1
loss = np.sum(scores_dif * (scores_dif > 0))
loss /= num_train
loss -= 1

4. 向量化的梯度计算

对于上诉过程逐步进行反向传播。注意反向传播中只对dif > 0的部分传播。

dloss = 1./num_train
dscores_dif = dloss * (scores_dif > 0)
dscores = dscores_dif
dcorrect_scores = -dscores_dif*np.sum(scores_dif > 0,axis = 1,keepdims=True)
dscores += dcorrect_scores * y_mask
dW += X.T.dot(dscores)

loss += 0.5 * reg * np.sum(W * W)
dW += reg * W