梯度下降 VS 随机梯度下降
2015-05-04 20:01
197 查看
样本个数m，x为n维向量。
h_theta(x) = theta^t * x
梯度下降需要把m个样本全部带入计算，迭代一次计算量为m*n^2
随机梯度下降每次只使用一个样本，迭代一次计算量为n^2，当m很大的时候，随机梯度下降迭代一次的速度要远高于梯度下降
冯世堃
为什么是n^2而不是n?
2013-10-5 20:44回复(0)
lijiawei166
梯度下降需要把m个样本全部带入计算，迭代一次计算量为m*n,随机梯度下降每次只使用一个样本，迭代一次计算量为n,n是参数个数
2013-11-17 11:15举报分享回复(1)
原文地址：http://blog.sina.com.cn/s/blog_6bb07f8301017bot.html
h_theta(x) = theta^t * x
梯度下降需要把m个样本全部带入计算，迭代一次计算量为m*n^2
随机梯度下降每次只使用一个样本，迭代一次计算量为n^2，当m很大的时候，随机梯度下降迭代一次的速度要远高于梯度下降
冯世堃
为什么是n^2而不是n?
2013-10-5 20:44回复(0)
lijiawei166
梯度下降需要把m个样本全部带入计算，迭代一次计算量为m*n,随机梯度下降每次只使用一个样本，迭代一次计算量为n,n是参数个数
2013-11-17 11:15举报分享回复(1)
原文地址：http://blog.sina.com.cn/s/blog_6bb07f8301017bot.html
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 梯度下降VS随机梯度下降
- 梯度下降与随机梯度下降
- 随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比
- 梯度下降、随机梯度下降和批量梯度下降
- 批处理梯度下降BGD与随机梯度下降SGD
- 梯度下降和随机梯度下降为什么能下降？
- 随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）
- 常见优化算法批量梯度下降、小批量梯度下降、随机梯度下降的对比
- 随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比
- 为什么梯度下降慢而用随机梯度下降
- 梯度下降（BGD）、随机梯度下降（SGD）、Mini-batch Gradient Descent、带Mini-batch的SGD
- 理解梯度下降，随机梯度下降，附电影推荐系统的简单代码小样 1.
- 随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比
- 【deeplearning.ai笔记第二课】2.1 随机梯度下降，批量梯度下降和小批量梯度下降
- 随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比
- 随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比
- NN优化方法对照：梯度下降、随机梯度下降和批量梯度下降
- 随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比
- 梯度、梯度下降，随机梯度下降
- 随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比