大模型推理服务与一次请求的完整旅程

能力之外的速度与成本

推理通常包括读取输入的 Prefill 和生成后续 Token 的 Decode。KV Cache 保存先前位置的键和值，减少重复计算；它不是用户长期记忆，也不是会永久记住聊天的数据库。

PagedAttention 等方法改进 KV 内存管理，使服务能更有效地利用资源；连续批处理组织不同请求的生成进度。它们可以改善吞吐，不等于直接教会模型新知识。

量化用较低精度表示权重或其他数值，可能降低内存占用并在合适硬件上加速，但收益与质量变化要实测。蒸馏则通过训练得到另一个学生模型，两者可以结合。

经营分析服务应一起报告：完成一份合格报告的成本、首字等待时间、总耗时、成功率和并发条件。便宜的单个 Token 不保证便宜的任务；模型反复重试可能消耗更多。

与推理时计算与一次候选搜索验证的完整旅程对照：前者改善“怎样更有效地计算”，后者可能主动花更多计算换取更高任务成功率。