第二讲.Linear Regression with multiple variable (多变量线性回归)

Linear Regression with multiple variable

本栏目（Machine
learning）包括单参数的线性回归、多参数的线性回归、Octave Tutorial、Logistic Regression、Regularization、神经网络、机器学习系统设计、SVM（Support Vector Machines 支持向量机）、聚类、降维、异常检测、大规模机器学习等章节。所有内容均来自Standford公开课machine learning中Andrew老师的讲解。（https://class.coursera.org/ml/class/index）

本章知识点：
一. 多变量线性回归的假设函数

二. 损失函数及梯度下降多维表达

三. 归一化的讲解

四. 学习速率alpha或者learning rate

五. python代码的演示（尚未编写，以后补上）

重点知识回顾：
机器学习很重要的步骤和思想就是三步走：

1.Hypothesis--假设函数
寻找假设函数，如果一开始假设函数就找找错的话，后面的都是错误的，problem：假设函数找到了，关键是如何求出参数parameters
2.Learning--学习（最重要的是：求
parameters参数的方法 还有 损失函数或者价值函数：cost function的计算）
学习的过程就是根据样本值找出最合适的参数，当然有时候只是局部最优解，监督学习：训练的时候是有样本的输出期望值得，而非监督学习则没有
problem：把样本的值（均是已知）全部带入后，cost function的表达是就是parameters 的函数了，用什么方法求出参数呢，已知的有：梯度下降，随机梯度下降，矩阵等等
3.Prediction--预测
利用梯度下降求出来parameters之后，我们就要用来预测可能值，也会把预测值再次用来调整 theta

简单介绍：
多变量假设：输出由多维输入决定，即输入为多维特征，简单的说就是有多个参数 theta。多变量线性回归仍是监督学习方法（因为训练样本中有期望输出值，作为训练），如下图所示：Price为输出，前面四维为输入：



很显然这个时候，变量有x1,x2,x3,x4,还有y，而theta值要有5个，即thetas =[theta0，theta1，theta2，theta3，theta4]，（theta0作为偏置项）
不能再用以前单变量线性回归的假设函数了:



（一）.这时候的假设函数应该变为如下形式：



ps:在多维的情况下，我们通常把X0设为1，是为了以后用矩阵或者向量的时候通用性强设置

（二）.损失函数及梯度下降多维表达



ps：写成 J（thetas）的形式没错，J（theta_0.....theta _n）这种形式直观点，上面被蓝线划掉的事课件，没有错误的（说明一下）
梯度下降的形式变为如下形式：





编写程序的时候，最终的判断条件仍是 cost function的前后两次差值 小于我们设置的门阀值即可

三.归一化的讲解










归一化的目的是：使数据小一点，要不编程的时候，数值会过大报错，nan！

四.学习速率alpha或者learning rate





五.python代码的演示（尚未编写，以后补上）