DESCENT LAB · 01

梯度下降学习率实验室

调整学习率与初始位置，观察收敛、震荡与发散的分界。

先预测，再操作，最后解释

同一个斜坡，为什么有时越走越远？

选择稳定收敛预设，单步观察梯度方向与落点。

单调收敛

每一步都在缩短到最优点的距离。

xₜ₊₁ = xₜ − η · 2(xₜ − 3)

目标函数

f(x) = (x − 3)²

步数0
当前位置0.000
损失9.000
梯度−6.000

过程记录

损失如何变化

纵轴按 log(1 + loss) 缩放

02

看懂分界

误差其实只乘了一个数

eₜ₊₁ = 0.50 × eₜ

误差每步保留一半，符号不变，所以沿同一侧稳定靠近。

其中 eₜ = xₜ − 3；真正的稳定条件是 |1 − 2η| < 1。