Transformer 内部机制与一个 Token 的完整旅程

从一句话到下一个片段

Token 是模型处理的离散单位，不固定等于一个汉字或一个英文词。Tokenizer 可能把一个词拆成多个片段。Embedding 把 Token ID 映射为可计算的向量；数值由训练学习，不是人为给每个词贴几个意义标签。

1. 输入“请解释利润下降”，切分并转成向量，加入位置信息。
2. Attention 让不同位置按当前表示交换信息。它计算关联权重，不等于人类注意力或可直接解释的推理理由。
3. 前馈层、残差连接和归一化继续加工表示。Transformer 不只有 Attention。
4. 输出头形成各候选 Token 的分数，经归一化成为概率，采样或选择一个。
5. 把已生成片段接回上下文，重复，直到结束或达到限制。

训练时可以对许多位置并行计算预测误差，因果遮罩防止读取目标之后的内容；普通自回归生成仍逐步产生后续 Token。不能把“训练可并行”误讲成“整段回答同时生成”。

用一条公式认识 Attention

$\operatorname{Attention}(Q,K,V)=\operatorname{softmax}(QK^T/\sqrt{d_k})V$。查询与键产生权重，权重再组合值；实际网络有多个头和多层变换。公式只描述一个机制，不代表全部模型。

这一过程解释了生成机制，但仅凭“预测下一个 Token”不能判断模型在某个任务上会不会推理或是否可靠。能力需要 大模型评测工程与一次厂商能力声明审计的完整旅程 ↗ 中的任务证据。