Single-head attention laboratory
注意力权重实验台
观察 Query、因果遮罩与温度如何共同改变“从哪里读、读回多少”。
正在校验
读下一段文字时，模型在参考哪里？
固定当前 Query，看四个点积分数；它们来自教学向量。
选择 Query
可见范围
四个 Token 的单头注意力
α = softmax((QKᵀ / √2 + M) / τ)选择一个 Query Token，查看它与四个 Key 的匹配分数、因果遮罩、Softmax 权重，以及 Value 的加权输出。
权重和 / 应为 1—
权重熵 / 越低越集中—
加权输出 / Σ αᵢVᵢ—
—
模型边界：这是一个可复算的教学玩具——单个 Head、二维 Q/K、标量 Value。真实 Transformer 使用学习得到的高维向量、多头结构和向量 Value；注意力权重也不等于完整因果解释。D3.js 7.9.0，ISC License，许可证说明保留在本文件源码注释中；页面离线运行，不发送数据。