Coursera Machine Learning Week 1.2: Linear Regression.one variable
2014-03-13 11:09
615 查看
regression问题是predict real-valued output
classification问题是discrete-valued output
linear regression
这是老师的笔记,cost function就是图中的J(西塔1,西塔2),也就是说在training data中,要让真实值和regression后得出的值的差的平方和最小,这也是Squared error function。
那么 to minimize the cost function,我们要用到一个算法叫gradient descent,梯度下降。
从图中可以看到,先选择一个西塔0西塔1,然后每次寻找一个梯度最大的方向,也就是斜率最大的方向,往这个方向走一步,然后再同样的走,直到找到一个局部最优值。
这张图表明了gradient descent算法的数学表达,求导表明寻找出梯度最大的那个方向,阿尔法是learning rate,也就是每次要减去的值,西塔0和西塔1要simultaneously update。
而阿尔法的大小也很讲究,下图就说明了原因。
但其实这个阿尔法就算是定值,他也能最后达到收敛,达到局部最优值,因为在一开始这个点上,选择的最大梯度比较大,但是随着越来越接近最优值,这个最大梯度会越来越小,所以没必要变化阿尔法,这个最大梯度会自动变小。
classification问题是discrete-valued output
linear regression
这是老师的笔记,cost function就是图中的J(西塔1,西塔2),也就是说在training data中,要让真实值和regression后得出的值的差的平方和最小,这也是Squared error function。
那么 to minimize the cost function,我们要用到一个算法叫gradient descent,梯度下降。
从图中可以看到,先选择一个西塔0西塔1,然后每次寻找一个梯度最大的方向,也就是斜率最大的方向,往这个方向走一步,然后再同样的走,直到找到一个局部最优值。
这张图表明了gradient descent算法的数学表达,求导表明寻找出梯度最大的那个方向,阿尔法是learning rate,也就是每次要减去的值,西塔0和西塔1要simultaneously update。
而阿尔法的大小也很讲究,下图就说明了原因。
但其实这个阿尔法就算是定值,他也能最后达到收敛,达到局部最优值,因为在一开始这个点上,选择的最大梯度比较大,但是随着越来越接近最优值,这个最大梯度会越来越小,所以没必要变化阿尔法,这个最大梯度会自动变小。
相关文章推荐
- Machine Learning week 1 quiz: Linear Regression with One Variable
- Coursera Machine Learning 第一周 quiz Linear Regression with One Variable 习题答案
- Machine Learning week 1 quiz: Linear Regression with One Variable
- Machine Learning by Andrew Ng ---Linear Regression with one variable
- Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)”
- Coursera machine learning 第二周 quiz 答案 Linear Regression with Multiple Variables
- Machine Learning - II. Linear Regression with One Variable单变量线性回归 (Week 1)
- Machine Learning week 2 quiz: Linear Regression with Multiple Variables
- Machine Learning - II. Linear Regression with One Variable单变量线性回归 (Week 1)
- Machine Learning Week 2 Linear Regression with multiple variables in Matlab or Octave
- 【cs229-Lecture2】Linear Regression with One Variable (Week 1)(含测试数据和源码)
- 机器学习测试Week1_2_Linear Regression with One Variable
- Stanford公开课机器学习---week1-2.单变量线性回归(Linear Regression with One Variable)
- Linear Regression with One Variable (Week 1)
- Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)”
- Coursera《machine learning》--(2)单变量线性回归(Linear Regression with One Variable)
- Machine Learing by Andrew Ng笔记 (二):Linear Regression with One Variable部分二+部分线性代数
- Coursera公开课笔记: 斯坦福大学机器学习第二课“单变量线性回归(Linear regression with one variable)”
- Machine Learning week 6 quiz: programming assignment-Regularized Linear Regression and Bias/Variance
- Coursera Machine Learning 第六周 Programming Exercise 5: Regularized Linear Regression and Bias