看见计算 · 看见学习

一句话怎样经过大模型

先看节点与连线,再看 Transformer;最后找到微调和 LoRA 改变的位置。约 5–8 分钟。

数值怎样经过一个网络?

真实计算 · 2 → 3 → 2 小网络

这一幕要记住

1 / 5
提示词、RAG、微调,分别改变哪里?
方式改变的位置是否因此训练权重
普通提示词本次输入的要求与资料否
RAG先检索,再补充本次上下文应用层接入本身不要求
全参数微调已有网络中的参数是
LoRA选定计算层旁的小型修正分支通常冻结原权重,训练新增参数

“微调”是在已有模型上继续训练;SFT 说明用示范怎样教,LoRA 说明训练哪些参数,两者可以结合。评测通过后再部署,普通聊天不会自动重新训练。

图中的数值从哪里来?哪些是简化?

前两幕是浏览器本地计算的 2 输入、3 隐藏单元、2 输出小网络:tanh 激活、Softmax 输出、交叉熵损失和梯度下降。样本与目标为人工设定,单次样本误差下降不证明真实任务泛化。圆圈表示单个数值单元,连线粗细表示权重绝对值,负权重用虚线。

语言模型与微调两幕是结构示意,不运行真实 Transformer。一个文字片段的圆圈组表示一组数值,不是一个汉字对应一个神经元;分词与输出候选是教学预设。Attention 幕用预设 Q/K 向量实际计算点积、Softmax 与因果遮罩,线宽表示本次注意力比例,并非训练参数。

示意采用 Decoder-only 的简化模块;真实模型可能有不同归一化、位置编码和投影结构,层数与点数不按比例。不能从图中推断某层专门存储某类知识,也不能从模型内部连线推出可解释的完整思考过程。

深入来源:Transformer 原论文 · LoRA 原论文。现有结构与张量实验保留在下方。

深入结构:Transformer、张量形状与 MHA / GQA / MQA

Decoder-only anatomy laboratory

Transformer 结构剖面实验台

逐层展开现代 Decoder-only Transformer,观察内部结构变化与张量形状不变量。

正在校验
先预测,再操作,最后解释

模型怎样计算,又怎样学会更好的计算?

沿输入、隐藏层、输出前进,点节点读取真实玩具数值。

4
4
注意力结构
逐层观察

现代 Decoder-only Transformer

B=1 · d=16 · Hq=4 · dh=4

逐层查看完整 Transformer、Decoder Block、Attention、SwiGLU 和输出层,并观察序列长度与注意力结构怎样改变张量形状。

残差流 / Block 接口—
Q 与 K/V Heads—
Attention Scores—
当前结论

—

模型边界:这是结构与张量形状实验,不执行真实矩阵乘法,也不估算参数量、显存或模型质量。固定玩具配置为 B=1、d=16、Hq=4、dh=4;MHA/GQA/MQA 只改变 Hkv=4/2/1。D3.js 7.9.0,ISC License;页面离线运行,不发送数据。