Exercise:Sparse Autoencoder 代码示例

练习参考Sparse Autoencoder

第一步，生成训练数据。在sampleIMAGES.m文件中加入如下代码：

size3D=size(IMAGES);

for i=1:numpatches

x=randi(size3D(1)-patchsize+1);

y=randi(size3D(2)-patchsize+1);

patches(:,i)=reshape(IMAGES(x:x+patchsize-1,y:y+patchsize-1,randi(size3D(3))),patchsize*patchsize,1);

end

在train.m文件中注释掉STEP 2到STEP 5的代码，运行train.m查看效果。

第二步，检查梯度。在computeNumericalGradient.m文件中加入如下代码：

EPSILON=0.0001;

n=size(theta);

for i=1:n

theta1=theta;

theta2=theta;

theta1(i)=theta1(i)+EPSILON;

theta2(i)=theta2(i)-EPSILON;

numgrad(i)=(J(theta1)-J(theta2))/(2*EPSILON);

end

在train.m文件中注释掉STEP 2到STEP 5的代码，调用checkNumericalGradient()，检查梯度计算是否正确。

第三步，计算稀疏自编码器的损失和梯度。梯度利用反向传导算法计算。在sparseAutoencoderCost.m文件中加入如下代码：

m=size(data,2);

a2=sigmoid(bsxfun(@plus,W1*data,b1));

a3=sigmoid(bsxfun(@plus,W2*a2,b2));

squared_error=sum(sum((a3-data).^2))/(2*m);

weight_decay=lambda/2*(sum(sum(W1.^2))+sum(sum(W2.^2)));

pj=mean(a2,2);

sparsity_penalty=sparsityParam.*log(sparsityParam./pj)+(1-sparsityParam).*log((1-sparsityParam)./(1.-pj));

d3=(a3-data).*(a3.*(1-a3));

d2=(W2'*d3+beta.*repmat((-sparsityParam./pj+(1-sparsityParam)./(1.-pj)),1,size(data,2))).*(a2.*(1-a2));

W2grad=d3*a2'./m+lambda*W2;

b2grad=sum(d3,2)./m;

W1grad=d2*data'./m+lambda*W1;

b1grad=sum(d2,2)./m;

cost=squared_error+weight_decay+beta*sum(sparsity_penalty);

在train.m文件中注释掉STEP 4到STEP 5的代码，运行STEP 3中的梯度检验代码，检验梯度计算是否正确。

第四步，训练稀疏自编码器。梯度计算正确的话，便可进行训练。在train.m文件中注释掉STEP 3的代码，运行STEP 4，STEP 5。最后会出现可视化训练结果。