One optimizer step laboratory

AdamW 参数更新闭环实验台

观察 Micro-batch 梯度怎样经过平均、裁剪、矩估计与解耦衰减,最终写回参数。

正在校验
先预测,再操作,最后解释

一份梯度,要经过哪些处理才改动参数?

从原始梯度开始,不要把微批次数直接当作步数。

更新规则
参数与四个 Micro-batch 梯度
裁剪与优化器超参数
逐步观察 / 执行

梯度处理与参数更新

—

四个 Micro-batch 梯度依次经过平均、裁剪、优化器状态和参数写回,并显示参数的多步轨迹。

平均梯度—
裁剪后梯度 / 比例—
数据更新 / 衰减更新—
当前参数 → 候选参数—
当前结论

—

模型边界:这是单参数标量代理。标量中的“全局范数”退化为绝对值;真实 Transformer 会对高维参数张量聚合范数,并为每个参数维护矩状态。页面不训练真实模型。D3.js 7.9.0,ISC License;true self-contained single file,完全离线,无网络请求,阅读时不需要 Node.js。