上一篇看见了模型怎样计算；这一篇解释其中的参数怎样形成。把模型看成由数据反馈不断调整的计算系统，训练词汇就有了共同落点。
从数据中学习
没有人逐句教它，它怎么学？
训练文本本身就提供后续片段，模型预测后计算误差，再更新参数。大量这样的学习让模型获得可以迁移的模式，不等于建立了一个每条知识都能可靠查出的数据库。
预训练 的顺序是数据整理、组成批次、前向预测、损失、梯度和优化器更新。数据配比与质量、参数规模和计算预算一起影响结果。
从预测到任务行为
为什么还需要后训练？
基础模型学会接续文本，不代表会按要求交付报告。后训练继续调整参数，学习信号更贴近希望它做的事。
| 给它什么反馈 | 希望改善什么 | 常见名称 |
|---|---|---|
| 展示一份有依据、会注明缺口的回答 | 学习任务形式和做法 | 监督微调（SFT） |
| 比较两个回答，指出哪个更合适 | 增加偏好行为的倾向 | 偏好优化 |
| 对尝试结果给奖励，例如答案是否可验证 | 调整产生行为的策略 | 强化学习（RL） |
这些方法可以组合，不是所有模型必经的三道工序。偏好和奖励也可能有误，训练目标的改善不自动等于业务结果改善。
进一步区分算法名称
DPO、PPO、GRPO 采用不同优化方法；RLHF 描述人类反馈相关的训练路线。第一遍先记反馈从哪里来、参数怎样变，不必先背缩写。
经营报告若只奖励格式，会诱导格式好看却无依据的输出。奖励定义和验证质量，会限制模型学到的东西。
如果程序需要的是判断和概率呢？
收到“查设备记录并按手册解释”，系统首先要判断应查资料、查数据，还是两者都查。Jev 把这种有限选项判断作为输出，返回类别与概率；外部程序继续负责查询和执行。
TypeSafe 把面向校准决策的后训练方向称为 RLCD。直觉是：一组被赋予 80% 概率的事件，应大约有 80% 发生。分类选对、概率可信、业务可执行是不同问题；小样本全对不能证明概率已校准。
继续读 RLCD 在后训练中的位置，或查看 中文小样本实验及限制。
把训练词汇分开
微调、LoRA、蒸馏是一回事吗？
微调描述在已有模型上继续训练；SFT 描述示范数据和监督目标；LoRA 描述一种参数高效适配方式；蒸馏描述从教师信号训练学生的路线。它们能够组合，不是四个互斥按钮。
在图上找位置： 正常使用时，输入与中间数值在变，模型参数保持不变；全参数微调更新原网络参数；LoRA 通常冻结原权重，在选定的计算层旁训练小型修正分支。微调发生在继续训练阶段，不是接在输出后的一道加工工序。
打开节点实验，直接看微调的位置。先切换三种方式，再选择 LoRA 覆盖注意力还是同时覆盖前馈网络；图中显示的是可训练范围，不是训练效果保证。
训练改善推理能力，与使用时让模型多算几轮不同。继续读 推理时计算与一次候选搜索验证的完整旅程。
把理解带回自己的问题
先问学习信号是什么、哪些参数会更新、怎样判断收益，再问用了哪一个训练名词。
试着用自己的话解释
把本页的方法放回总地图，说出它改变了什么，以及一个不能解决的问题。
猜一猜，动一动，
看见变化的原因。
调整学习率、权重衰减和梯度，观察 AdamW 如何完成动量估计、归一化更新与解耦衰减。
交互实验用于辅助理解，适用边界见实验说明。
独立打开完整实验 ↗一句话怎样经过大模型：从计算到微调
从节点与连线看见计算和学习，展开 Transformer、Attention，并定位全参数微调与 LoRA；深入结构实验按需展开。