主题分享 / 大模型与智能体
UNDERSTAND THE SYSTEM
模型怎样被有效使用。
区分给资料、多计算、用工具与改善服务效率，找到质量和成本的来源。
持续更新的主题 · 内容编辑 2026-09-09
前面训练形成了参数；现在保持参数不变，看怎样把模型用好。输入、计算预算、工具和服务条件仍会改变结果。
这里“模型推理”指使用已学参数计算输出；“推理能力”常指分析与解题能力。两者共用中文词语，但要区分运行过程和任务表现。
01
给这一轮正确的信息
资料没进训练，模型还能用吗？
可以把资料放进上下文，或用 RAG 检索后再提供。这里通常不更新生成模型权重。
经营指标口径、本期数据和历史对照，都可以作为带来源的输入。关键不是塞得越多越好，而是相关、准确、可追溯。长上下文提高容量，不保证读取所有细节；知识库也不自动等于长期记忆。
01 / 03下一幕：给难题更多计算 →
02
给难题更多计算
“多想一会儿”到底多做了什么？
可能是更长生成、多个候选、搜索、测试和修订，也可能还结合了针对推理的训练。产品上的 Thinking 标签不足以说明具体配方。
推理时计算 要测量成功率是否提高。多个答案如果共享错误资料，多数票也可能错；验证器本身需要验证。
02 / 03下一幕：让服务可用且经济 →
03
让服务可用且经济
相同模型为什么有时快、有时慢？
推理服务 还受排队、硬件、缓存和批处理影响。KV Cache 减少重复计算，量化改变数值精度，PagedAttention 改善内存管理；它们不是给模型传授新知识。
比较方案时看一份合格报告的总成本、耗时、并发和失败率。单个 Token 的价格只是其中一个因素。
如果任务需要继续查表和验证，就会走进 执行循环；如果固定一次调用已经满足要求，也可以停在这里。
03 / 03回看这条因果链 →
把理解带回自己的问题
改善效果既可能靠训练，也可能靠上下文、计算和工程。先定位失败原因，再选择干预位置。
试着用自己的话解释
把本页的方法放回总地图，说出它改变了什么，以及一个不能解决的问题。