梯度下降VS随机梯度下降
2014-10-15 08:48
211 查看
样本个数m，x为n维向量。
h_theta(x) = theta^t * x
梯度下降需要把m个样本全部带入计算，迭代一次计算量为m*n^2
随机梯度下降每次只使用一个样本，迭代一次计算量为n^2，当m很大的时候，随机梯度下降迭代一次的速度要远高于梯度下降
h_theta(x) = theta^t * x
梯度下降需要把m个样本全部带入计算，迭代一次计算量为m*n^2
随机梯度下降每次只使用一个样本，迭代一次计算量为n^2，当m很大的时候，随机梯度下降迭代一次的速度要远高于梯度下降
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 梯度下降 VS 随机梯度下降
- 为什么梯度下降慢而用随机梯度下降
- 常见优化算法批量梯度下降、小批量梯度下降、随机梯度下降的对比
- 随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比
- 用最直白的方式来解释‘批梯度下降’和‘随机梯度下降’
- 随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比
- 随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比
- 随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比
- NN优化方法对照：梯度下降、随机梯度下降和批量梯度下降
- 随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比
- 梯度下降（BGD）、随机梯度下降（SGD）、Mini-batch Gradient Descent、带Mini-batch的SGD
- 理解梯度下降，随机梯度下降，附电影推荐系统的简单代码小样 1.
- 梯度、梯度下降，随机梯度下降
- 【deeplearning.ai笔记第二课】2.1 随机梯度下降，批量梯度下降和小批量梯度下降
- 随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）的公式对比、实现对比
- 随机梯度下降与梯度下降讲解
- 随机梯度下降（Stochastic gradient descent）和 批量梯度下降（Batch gradient descent ）
- 最优化方法：梯度下降（批梯度下降和随机梯度下降）
- 聊聊深度学习这档子事（4）：广义逆矩阵 vs 梯度下降法
- 线性回归 最小二乘 梯度下降 随机梯度下降