机器学习-4 线性回归 代码 matlab

%% linear regression from sunjerdege with matlab
clear all;
%% read GDP data
% c1: city；c2：population；c3：GDP
[city x y] = textread('城市人口_GDP数据.txt','%s%f%f');
[num tmp] = size(x);
x = x/1000;
y = y/1000;

% 先看看整体是否有线性的趋势
figure
hold on
plot(x, y, 'b.');
title('2011全国城市人口与GDP散点图');
xlabel('人口（万）');
ylabel('GDP（亿）');

% 用matlab内置函数拟合
p = polyfit(x, y, 1);   % 计算回归系数
p_y = polyval(p, x);     % 根据回归系数计算拟合的y
plot(x, p_y, 'r');
legend('','matlab内置拟合',1);
hold off

%% 自己拟合一下
% hypothesis function: H = th1 + th2 * x;
% cost function: J = 1/（2*num）  * sum((H - y).^2);
% 画一下代价函数的图
size = 50;
th0 = linspace(-1000, 1000, size);      % 在-1000和1000之间生成50个数
th1 = linspace(-1000, 1000, size);
J = zeros(length(th0), length(th1));    % 生成J代价矩阵
X = [ones(num, 1), x(:,1)];             % 方便计算，th0对应的X为1（y = th0*1 + th1*x1）
for i = 1 : length(th0)
for j = 1 : length(th1)
theta = [th0(i); th1(j)];
J(i,j) = 1/(2 * num) * sum((X * theta - y).^2);    % 代价函数
end
end
figure
surf(th0, th1, J);
title('曲面图')
figure
contour(th0,th1, J, 70);
title('等高线图');

%% 梯度下降寻找最优点
iter_cnt = 2500;        % 迭代次数
alpha = 0.01;           % 寻找的速度
theta = zeros(2,1);     % 初始化阈值
iter_J = [];            % 迭代中的代价
for iter = 1:iter_cnt
% 更新阈值
theta = theta - alpha * ( 1 / num * sum( ((X * theta - y)' * X), 1) )';
% 求代价函数
iter_J(iter) = 1/(2 * num) * sum((X * theta - y).^2);
end

%% 显示
figure
hold on
plot(x,y,'b.');
plot(x, X*theta, 'r')
legend('散点图','回归结果',1);
title('回归结果');
hold off

figure
hold on
contour(th0,th1, J, 70);
plot(theta(1), theta(2), 'r*','MarkerSize', 5, 'LineWidth', 5);
legend('等高图','寻找到的最优');
title('等高图-最优点');
hold off