One optimizer step laboratory
AdamW 参数更新闭环实验台
观察 Micro-batch 梯度怎样经过平均、裁剪、矩估计与解耦衰减,最终写回参数。
正在校验
一份梯度,要经过哪些处理才改动参数?
从原始梯度开始,不要把微批次数直接当作步数。
更新规则
参数与四个 Micro-batch 梯度
裁剪与优化器超参数
逐步观察 / 执行
梯度处理与参数更新
—四个 Micro-batch 梯度依次经过平均、裁剪、优化器状态和参数写回,并显示参数的多步轨迹。
平均梯度—
裁剪后梯度 / 比例—
数据更新 / 衰减更新—
当前参数 → 候选参数—
—
模型边界:这是单参数标量代理。标量中的“全局范数”退化为绝对值;真实 Transformer 会对高维参数张量聚合范数,并为每个参数维护矩状态。页面不训练真实模型。D3.js 7.9.0,ISC License;true self-contained single file,完全离线,无网络请求,阅读时不需要 Node.js。