局部加权线性回归算法

<p>http://blog.csdn.net/hujingshuang/article/details/46274723</p><p>感谢这位博主无私分享思路，本人结合他的思路利用梯度下降法进行实现</p><p><strong>主要思路如下：</strong></p><p><strong><span style="white-space: pre;">			</span>1.定义每一组样本X1 X2 X3 X4 ...Xm参考样本L1 L2 L3 L4..Lm  其中m是样本数</strong></p><p><strong><span style="white-space: pre;">			</span>2.写两个循环分别求出每一组样本与参考样本的相似度（得到的权值矩阵应该是m*m）【tips 两个向量的距离可以用范数norm实现】</strong></p><p><strong><span style="white-space: pre;">			</span>3.把权值矩阵的每一行用来计算代价函数值和梯度</strong></p><p><strong><span style="white-space: pre;">			</span>4.于是这样每一行的权值都能训练出一列参数Θ</strong></p><p><strong><span style="white-space: pre;">			</span>5.接收所有Θ再利用ΘTX得到y，我们只选取对角线上的，因为不在对角线上的值并没有意义</strong></p><p><strong><span style="white-space: pre;">			</span>6.绘图</strong></p><p><strong>代码如下：</strong></p>

%思路参考  http://blog.csdn.net/hujingshuang/article/details/46274723 clcclear allclose allload('Q2x');%读取训练数据load('Q2y');%读取训练数据q2x = Q2x;q2y = Q2y;weight=[];q2x=[ones(size(q2x,1),1) q2x];%加一列偏置项[m n]=size(q2x);theta=zeros(n,m);figure;hold on;plot(q2x(:,2),q2y,'.b');l = q2x;%landmark 高斯核函数的标记%在这里得到m*m的相似度函数for i = 1:mfor j = 1:mweight(i,j) = exp(-norm((q2x(i,:)-l(j,:)),2).^2/(2*3));%计算出第i个样本与第j个marker的相似度（类似SVM的高斯核），所以一行是同一个样本，一列是同一个TESTendendoptions = optimset('MaxIter', 400);initial_theta = zeros(n,1);for i = 1:mCostFunction = @(t)TrainCost(q2x,Q2y,t,weight(:,i));%每次都丢一组权值（同一个TEST）进去来得到一组参数Θtheta(:,i)=fmincg(CostFunction, initial_theta, options);%返回最小的梯度THETA值一共有m列，得到m个样本拟合出来的Θendy_fit=q2x*theta;y_fit=diag(y_fit);q2xs=sort(q2x);result=[Q2x y_fit];x_result=sortrows(result,1);plot(x_result(:,1),x_result(:,2)); 

function [J grad] = TrainCost(X,y,Theta,weight)m = size(X,1);h = X*Theta;J = (1/(2*m))*weight'*(h-y).^2;grad = (1/m)*(weight.*(h-y))'*X;grad = [grad(:,1);grad(:,2)];end