UNDERSTAND THE SYSTEM
大模型内部怎样工作。
跟随一句话进入模型，看懂 Token、向量、Attention，以及架构变化的位置。
持续更新的主题 · 内容编辑 2026-09-09
演化篇解释架构为什么出现；这一篇跟随输入走到输出，看它怎样计算。下一篇再回答：这些参数怎样学出来？
从文字到表示
模型看到的是汉字，还是数字？
模型先把文字切成 Token，再将 ID 映射为向量。Token 不固定等于词或汉字，向量也不是手写的“意义标签”。它们是训练和推理使用的计算表示。
以“利润为什么下降”为例，模型要结合前后文区别利润、收入和成本。词的表示会在多层计算中随上下文变化，不能只靠查一个词向量表完成理解。详见 输入与生成过程。
从上下文到回答
为什么会一小段一小段地生成？
常见自回归文本模型每次计算下一个 Token 的分布，再把生成结果接回上下文。Attention 负责信息交换，前馈层、残差和归一化也参与加工。
预测机制能通过训练形成复杂能力，但一句“它只是在预测”既不能证明它不会推理，也不能证明它的结论可靠。使用任务证据判断。下方两个实验分别观察注意力分配和网络结构。
架构的不同选择
MoE 和多模态改变了哪里？
这一节用于会后理解架构分支，第一遍先把输入与生成过程讲清。
MoE 在模型内部选择部分专家网络参与计算，不是多个独立 Agent 分工。总参数、激活参数和服务成本要分开。
多模态 让图像、声音等进入可处理的表示与训练关系。看懂图表和生成图片是不同能力。
架构选择必须结合数据、训练和系统实现看效果，不能只凭一个结构名字给模型排高低。
把理解带回自己的问题
模型内部是可计算的表示与变换。架构决定怎样计算，训练决定参数取值，评测判断实际能力。
试着用自己的话解释
把本页的方法放回总地图，说出它改变了什么，以及一个不能解决的问题。
一句话怎样经过大模型：从计算到微调
从节点与连线看见计算和学习，展开 Transformer、Attention，并定位全参数微调与 LoRA；深入结构实验按需展开。