机器学习(三)梯度下降与拟牛顿
2016-10-10 11:58
225 查看
这节课的推导真心hold不住了。按照自己的理解记下仅看明白的东西吧。或许还有第二遍、第三遍整理呢。
主要讲了两个问题:
学习率α如何确定?
使用固定的学习率还是变化的学习率?
学习率设置为多大比较好?
下降的方向如何处理,除了梯度方向,有没有其他方向?
可行方向和梯度方向有何关系?
先上结论:
使用固定的学习率还是变化的学习率?
使用变化的学习率好。学习率的确定可以这样:在参数迭代的开始阶段,由于与最优值差距较大,可以使用较大的学习率;在迭代后期,使用较小的学习率增加稳定性和精度。
学习率设置为多大比较好?
构造一个关于α的函数,然后用二分线性搜索或回溯搜索来求得当前最优的学习率α。注意:当前最优。
那如何构造学习率α?
推导...
可行方向和梯度方向有何关系?
就是拟牛顿方向,我的理解是,梯度是线性的,牛顿是非线性的。梯度线性下降或者牛顿非线性下降。
********************************************分割线**********************************************
主要讲了两个问题:
学习率α如何确定?
使用固定的学习率还是变化的学习率?
学习率设置为多大比较好?
下降的方向如何处理,除了梯度方向,有没有其他方向?
可行方向和梯度方向有何关系?
先上结论:
使用固定的学习率还是变化的学习率?
使用变化的学习率好。学习率的确定可以这样:在参数迭代的开始阶段,由于与最优值差距较大,可以使用较大的学习率;在迭代后期,使用较小的学习率增加稳定性和精度。
学习率设置为多大比较好?
构造一个关于α的函数,然后用二分线性搜索或回溯搜索来求得当前最优的学习率α。注意:当前最优。
那如何构造学习率α?
推导...
可行方向和梯度方向有何关系?
就是拟牛顿方向,我的理解是,梯度是线性的,牛顿是非线性的。梯度线性下降或者牛顿非线性下降。
********************************************分割线**********************************************
相关文章推荐
- 机器学习第二课:无约束优化问题(局部极小值的几种解法)(梯度下降法与拟牛顿法)
- 机器学习,线性回归关于梯度下降法和正规方程的流程
- 【机器学习】梯度下降法的证明
- 机器学习之梯度下降、批量梯度下降与随机梯度下降
- 机器学习中梯度下降法的分类及对比分析(附源码)
- Stanford机器学习课程笔记——单变量线性回归和梯度下降法
- 机器学习(1)之梯度下降(gradient descent)
- 机器学习入门:线性回归及梯度下降
- 机器学习入门-BP神经网络模型及梯度下降法-2017年9月5日14:58:16
- 梯度下降和牛顿迭代——qjzcy的博客
- 机器学习的梯度下降中学习率的选取
- 机器学习----梯度下降法
- 机器学习深度学习基础笔记(2)——梯度下降之手写数字识别算法实现
- 非线性优化之牛顿(梯度)下降法、高斯牛顿法、LM下降法
- 机器学习通俗入门-使用梯度下降法求解二分问题
- 机器学习(1)之梯度下降(gradient descent)
- 【机器学习】1 监督学习应用与梯度下降
- 机器学习第四讲 牛顿下降法
- 斯坦福机器学习视频笔记 Week1 线性回归和梯度下降 Linear Regression and Gradient Descent
- 【机器学习】线性回归的梯度下降法 续