OPTIMIZATION ATLAS / 02

同一条谷底，四种走法

在相同初值、噪声和步数下，同时比较 SGD、EMA 动量、RMSProp 与 Adam。选择一种方法只改变强调，不清空其他轨迹。

参数走过的路径

等高线越密，方向上的曲率越大。圆点是当前参数，淡线保留历史路径。

纵轴为 log(1 + loss)，显示比较范围而不压扁小损失。

先看第一步怎样形成

更新规则、比较条件与模型边界

SGD 直接使用当前梯度；EMA 动量使用 v=0.9v+0.1g；RMSProp 使用 v=0.99v+0.01g²，再以 √v+10⁻⁸ 缩放；Adam 使用 β₁=0.9、β₂=0.999，并进行偏差修正。

每一步四种方法收到同一个噪声向量，但各自位置的确定性梯度不同。相同学习率只是受控演示条件，不代表每种方法都已分别调到最佳。旋转椭圆二次函数是二维教学模型；低损失或更快收敛不保证深度网络泛化更好。出界轨迹停止，并明确标注。