看见计算 · 看见学习
一句话怎样经过大模型
先看节点与连线,再看 Transformer;最后找到微调和 LoRA 改变的位置。约 5–8 分钟。
数值怎样经过一个网络?
真实计算 · 2 → 3 → 2 小网络这一幕要记住
提示词、RAG、微调,分别改变哪里?
| 方式 | 改变的位置 | 是否因此训练权重 |
|---|---|---|
| 普通提示词 | 本次输入的要求与资料 | 否 |
| RAG | 先检索,再补充本次上下文 | 应用层接入本身不要求 |
| 全参数微调 | 已有网络中的参数 | 是 |
| LoRA | 选定计算层旁的小型修正分支 | 通常冻结原权重,训练新增参数 |
“微调”是在已有模型上继续训练;SFT 说明用示范怎样教,LoRA 说明训练哪些参数,两者可以结合。评测通过后再部署,普通聊天不会自动重新训练。
图中的数值从哪里来?哪些是简化?
前两幕是浏览器本地计算的 2 输入、3 隐藏单元、2 输出小网络:tanh 激活、Softmax 输出、交叉熵损失和梯度下降。样本与目标为人工设定,单次样本误差下降不证明真实任务泛化。圆圈表示单个数值单元,连线粗细表示权重绝对值,负权重用虚线。
语言模型与微调两幕是结构示意,不运行真实 Transformer。一个文字片段的圆圈组表示一组数值,不是一个汉字对应一个神经元;分词与输出候选是教学预设。Attention 幕用预设 Q/K 向量实际计算点积、Softmax 与因果遮罩,线宽表示本次注意力比例,并非训练参数。
示意采用 Decoder-only 的简化模块;真实模型可能有不同归一化、位置编码和投影结构,层数与点数不按比例。不能从图中推断某层专门存储某类知识,也不能从模型内部连线推出可解释的完整思考过程。
深入来源:Transformer 原论文 · LoRA 原论文。现有结构与张量实验保留在下方。