大模型后训练机制与一次策略更新的完整旅程

后训练方法不是一条升级队列

方法	学习信号	需要避免的混淆
SFT，监督微调	输入与希望生成的回答或动作示范	不只改变语气，也可改善任务能力和工具使用
RLHF	来自人类反馈的偏好或奖励，经典配方含奖励模型与 RL	反馈来源、奖励建模与优化算法是不同维度
DPO，直接偏好优化	较好与较差输出的成对比较	经典 DPO 不需要单独训练显式奖励模型，也不等同于 PPO
PPO、GRPO 等 RL 方法	奖励与策略更新信号	算法名称不等于能力等级；奖励可能来自规则、验证器或模型
可验证奖励	例如答案核对、代码测试反馈	检查器通过不保证业务任务全部完成
RLCD（TypeSafe 的训练方向命名）	以结构化决策与概率校准为公开目标，具体奖励和优化配方未披露	不是 PPO／GRPO 的同粒度算法，也不能仅由输出概率反推强化学习实现

“微调”泛指在已有模型上继续训练，SFT 是其中一种目标与数据形式。“LoRA”是减少可训练参数的实现方法，可以配合不同训练目标；“蒸馏”利用教师输出、分布或轨迹训练学生，也不是固定在最后的一道工序。

把企业资料放进提示词不算微调，因为没有因此更新模型权重。用 LoRA 也不意味着知识会实时刷新；更新后的模型仍需要评测与发布。

参照 大模型预训练工程与一次参数更新的完整旅程 ↗ 理解参数更新，参照 推理时计算与一次候选搜索验证的完整旅程 ↗ 区分训练学会推理和使用时增加计算。

RLCD：从回答偏好到决策概率

2026-09-20 补充。TypeSafe 将 RLCD（Reinforcement Learning for Calibrated Decisions）描述为适配预训练模型的后训练方向，希望让程序获得有限候选上的判断与概率。其目标陈述不等于完整训练算法，也不表示 RLHF、RLVR、RLCD 是互斥或依次升级的所有路线。官方说明。

例如“选择文档查询还是数据查询”，程序不仅关心最终标签，还关心不确定时是否应该澄清。准确率只检查选对多少；校准检查一组预测的概率与实际频率是否相符。普通监督分类也能学习概率，不能由“带概率输出”推断必然需要某个 RL 算法。

完整机制、可复算损失例子、三种接口与实测见 Jev 与 RLCD：结构化决策、概率校准与技术边界 ↗。其中 Softmax、交叉熵和 Brier 例子是教学工具，不是 Jev 网络或损失函数的披露；底座、奖励配方、训练数据和完整架构仍未知。