现在我们来讨论梯度下降算法的三个变种，它们之间的主要区别在于每个学习步骤中计算梯度时使用的数据量，是对每个参数更新（学习步骤）时的梯度准确性与时间复杂度的折衷考虑。
2018-05-03 15:55
随机梯度下降（Stochastic gradient descent） 批量梯度下降（Batch gradient de
2017-11-28 04:00
梯度下降法沿着梯度的反方向进行搜索，利用了函数的一阶导数信息。
2023-05-18 09:20
梯度下降法是一个用于寻找最小化成本函数的参数值的最优化算法。当我们无法通过分析计算（比如线性代数运算）求得函数的最优解时，我们可以利用梯度下降法来求解该问题。
2018-04-26 16:44
导读一图胜千言，什么？还是动画，那就更棒啦！本文用了大量的资源来解释各种梯度下降法（gradient descents），想给大家直观地介绍一下这些方法是如何工作的。
2022-08-17 11:50
梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度
2018-08-04 11:40
刚接触梯度下降这个概念的时候，是在学习机器学习算法的时候，很多训练算法用的就是梯度下降，然后资料和老师们也说朝着梯度的反
2018-02-05 13:42
在数据量不大的情况下，上面的数学效果不错（我们这里不讨论局部极小值、鞍点、学习率选择、动量等问题，请参考《深度学习》一书的数值计算那一章）。批量梯度下降有一个问题——梯度
2018-07-17 09:11
摘要：反向传播指的是计算神经网络参数梯度的方法。
2023-03-14 11:07
初始化权重时，我们在损失曲面的A点。我们首先要做的，是检查一下，在x-y平面上的所有可能方向中，沿着哪个方向移动能带来最陡峭的损失值下降。这就是我们需要移动的方向。这一方向恰好是梯度的反方向。梯度，导数的高维表兄弟，
2018-09-28 09:06
