Jev 与 RLCD：结构化决策、概率校准与技术边界

简要总结

如果程序只想知道“该查文档、查数据，还是先澄清”，生成一大段解释未必是必要工作。TypeSafe 的 Jev 接收材料和预先定义的问题，返回选项、等级或是非概率，后续动作由程序执行。它可以作为智能体系统中的判断组件，不能单独替代知识库、工具、工作流或完整 Agent。

本页区分四层：计算什么、训练优化什么、接口返回什么、实际任务效果怎样。公开材料能确认产品接口和厂商描述的训练方向，不能据此还原神经网络或证明性能宣传。核验日期为 2026-09-20；文档与实测版本可能随服务更新变化。

从一句请求到结构化决策

例如输入“查设备 A 昨日告警，并按运维手册说明处理步骤”，候选是文档检索、数据查询、组合流程、澄清。模型给各选项分配概率；程序根据结果调用预先允许的查询函数。这与让模型自由写代码、自己寻找工具不同。

原语	预测对象	返回与适用例子	不代表什么
Choice	本次定义的候选类别	类别、各类概率、confidence；用于请求路由	动态候选不等于固定训练标签，选到合法类别也可能选错
Score	按顺序定义的语义等级	等级分布、加权分数、confidence；用于相关性排序	不是精密数值回归，不能用档位插值算金额或日期
Noul	一个明确的是非命题	“是”的概率，范围 0～1；用于证据支持核查	0.5 表示不确定，不表示程度中等；没有独立 confidence

Score 的等级从 0 编号。若三个等级的概率为 $[0.1,0.3,0.6]$ ，则分数为 $0\times0.1+1\times0.3+2\times0.6=1.5$ ；等级含义由调用者定义。不能把不同量表上的 1.5 直接比较。原语说明、Score、Noul。

一个请求可带多个问题，但它们分别对同一份 state 判断。后一个问题若依赖前一个答案，需要由代码分阶段执行，不能只靠问题键名暗示依赖。State、并行问题模式。

底层原理：已知接口与未知架构

典型自回归语言模型预测下一个 Token：

P(w_1,\ldots,w_T\mid x)=\prod_{t=1}^{T}P(w_t\mid x,w_{<t})

$x$ 是输入， $w_t$ 是第 $t$ 个 Token，前面的输出继续进入后面的条件。长度为 3 的回答，其联合概率就是三个条件概率相乘，例如 $0.5\times0.4\times0.8=0.16$ 。生成 JSON 也通常经过这条文字生成路径。

对 Jev 的 Choice，功能上可以描述为：

p_i=P_\theta(c_i\mid s,q,C)

$s$ 是材料， $q$ 是问题， $C$ 是当前候选集合， $c_i$ 是其中一个选项。例如程序收到 $[0.05,0.1,0.8,0.05]$ ，可选择第三项，但仍须按任务风险决定是否执行。

一种教学示意实现是语义编码后给每个候选打分，再归一化：

p_i=\frac{\exp(z_i)}{\sum_j\exp(z_j)}

$z_i$ 是候选分数。两项分数为 $[0,\ln 3]$ 时，概率为 $[0.25,0.75]$ 。这不是 Jev 真实结构的披露：不知道它怎样编码候选、是否使用这样的输出头、是否另有校准步骤，更不能断言是某个开源底座加固定分类头。

厂商发布稿称其使用专门架构和并行采样，避免自由生成字符串。接口一次返回多个值，不足以证明内部只做一次前向传播。训练目标决定学什么，推理计算与服务实现决定如何算、花多久；“用了 RL”不能单独解释低延迟。官方发布稿，2026-09-15。

RLCD 在后训练中的位置

RLCD 的全称是 Reinforcement Learning for Calibrated Decisions。TypeSafe 将它列为适配预训练语言模型的后训练方向；它不是所有后训练方法的标准三分法，也不是已获独立验证的“第三代升级”。官方 AI primer。

名称	主要强调什么	仍需追问什么
RLHF	来自人类反馈的偏好或奖励	人类比较什么、奖励模型如何学、用什么优化算法
RLVR	能由验证器检查的结果奖励	验证器覆盖什么、会不会被钻空子
RLCD	厂商强调决策与概率校准	奖励针对动作还是分布、数据与标签如何获得、怎样验证概率

PPO、GRPO 是具体优化方法层面的名称；RLHF、RLVR、RLCD 并不都处在同一算法粒度。不能从 RLCD 名字推出它用了 PPO、GRPO、Brier 奖励或哪种策略梯度。详见大模型后训练机制与一次策略更新的完整旅程、强化学习与大模型后训练。

目前核对的公开文档没有足够的底座规格、网络细节、奖励定义、数据配比与训练代码，无法复现 Jev 的训练。监督学习本身也能学习类别概率，所以“能输出概率，因此必须强化学习”的推理不成立。

概率、confidence 与校准

准确率只看选项是否正确；校准关心一组预测中“报 80%”的事件是否大约 80% 发生。单次预测无法验证这个频率。Softmax 使概率和为 1，也不保证校准。现代网络的失准与温度缩放等方法已有既有研究。Guo 等，2017。

TypeSafe 的 Choice／Score confidence 是从分布计算的统计量，不能直接解释为答案正确的独立概率。官方网页中的三选项计算演示还明确注明是近似，不能把演示公式当作接口实现合同。本轮阈值实验使用最大类别概率，单独展示原始 confidence。Confidence。

用损失解释为什么不该总报 99%

以下是通用概率学习例子，不是 RLCD 官方损失。对二分类，交叉熵为：

L_{CE}(p,y)=-y\log p-(1-y)\log(1-p)

$p$ 是预测“是”的概率， $y\in\{0,1\}$ 是实际标签。例如实际为是，报 $0.8$ 的损失约为 $0.223$ ；报 $0.2$ 的损失约为 $1.609$ 。它可以通过普通监督学习优化。

二分类 Brier 分数采用：

L_B(p,y)=(p-y)^2

若给定信息下事件发生率为 $r$ ，则：

\mathbb E[L_B]=r(p-1)^2+(1-r)p^2=(p-r)^2+r(1-r)

最后一项与 $p$ 无关，期望在 $p=r$ 时最小。令 $r=0.8$ ：报 $0.5$ 、 $0.8$ 、 $0.99$ 的期望损失分别为 $0.25$ 、 $0.16$ 、 $0.1961$ 。目标不是永远自信或永远保守，而是报告与可用信息相符的不确定性。

本轮多分类 Brier 使用各类别平方误差之和再对样本取平均，范围为 0～2；二分类支持判断只使用“是”的单项平方误差，范围为 0～1。两者不能直接横比。Brier 同时反映概率预测质量的多个方面，不是纯粹的校准误差；小样本分桶也不能证明全面校准。

放进 RAG 与 Agent 的哪个环节

请求路由：判断需要知识、实时数据还是澄清，后续查询由程序掌握。
证据筛选：判断候选材料是否相关、是否支持特定说法；保留来源编号。
不确定性处理：证据不足时拒答、补资料或交给更强模型，而非强行输出。
组合决策：把多个窄判断交给代码组合。计数、日期比较、权限和资金规则继续用确定性代码。

TypeSafe 有意图路由、引用检查等官方教学配方；OpenRouter 也给出“便宜模型回答 → Jev 检查是否受材料支持 → 必要时升级”的示例。这些是可查的集成示例，不等于独立生产部署或普遍收益证据。本轮不把未经核实的社区案例写成成功客户。意图路由、OpenRouter 级联示例。

前置概念见从 RAG 到 Agent 系统；谁执行动作、保存状态和判断停止，继续由智能体系统的职责分工解释。

接入、成本与已知限制

OpenRouter 提供专门的 POST /api/v1/systemone，请求包含 model、state、questions。它不是把 Jev 当普通聊天模型调用；请求模型 typesafe/jev-1.13，响应应记录实际版本。2026-09-20 本机探测返回 typesafe/jev-1.13-20260917。TypeSafe 直连文档的版本命名不同，不能混用。OpenRouter 接入说明。

当前文档与模型页列出的输入单价为每百万 Token 0.042 美元，输出免费；例如按 1,000 个计费输入 Token 估算为 0.000042 美元。实际调用以返回 usage 为准，多问题请求的计费输入量不能只用可见文本长度猜测。模型规格、OpenRouter 模型页。

官方直连说明总请求上限 64k，state 加最长问题上限 32k；OpenRouter 模型页显示 32k。接入应遵守所用通道的实际限制，不以较大的宣传值覆盖网关约束。英语是主要训练语言，中文需要独立验证。数值精算、日期比较、多跳间接问题、无关长上下文和对抗指令是已公布的限制。模型限制。

中文小样本实测

本轮固定 30 条路由请求、10 组各含 3 段材料的证据问题，保留失败、版本、费用和判定标准。完整结果在实践项目；这里仅维护适合公开的结论。

实测日期：2026-09-20；固定合成样本版本：2026-09-20.v1。原定 Gemini Flash Lite 两次返回地区不可用（403），对照改为 OpenRouter 的 qwen/qwen3.5-flash-02-23。Jev 实际返回 typesafe/jev-1.13-20260917。

指标	Jev	Qwen3.5 Flash
路由正确数／固定样本数	30/30	29/30
路由多分类 Brier（类别平方和）	0.00314	0.17588
决策请求通过校验	40/40	38/40
支持判断正确数（仅有效返回，阈值 0.5）	30/30	23/24；另 6 项所在请求失败
支持判断二分类 Brier（仅有效返回）	0.00895	0.04583
决策耗时中位数	0.756 秒	1.522 秒
决策耗时 P95	1.076 秒	2.816 秒
决策请求计费合计	0.000988 美元	0.002842 美元

全程已确认费用 0.003970192 美元，含初始探测与共同生成器调用。两次 Gemini 拒绝未返回 usage，另保留 0.02 美元失败请求预算，不把预留说成实际消费；确认费用与预留合计低于 1 美元。实际回答统一由 Qwen 生成，同输入复用本地结果。延迟含本机网络与服务等待，两组顺序执行，未重复采样，不是模型纯计算耗时或服务 SLA。

值得保留的反例：

Qwen 把“对照差旅制度检查报销单”误分到纯数据查询，漏掉规则来源。这是在路由判定上真正的任务错误。
Qwen 的两组 Score 数值与返回的等级分布加权期望不一致，严格校验后未执行下游步骤。程序可以改为根据分布自行计算，这会改变比较方案；本轮保留原始失败，不将其写成语言理解失败或普遍不可靠。
Jev 对一条明确支持导出权限的材料给出 0.76，低于事先设定的 0.8 门槛，因此拒答；“支持判断在 0.5 阈值下全对”不等于端到端召回完整。
含反证的基础套餐问题，两组都因只保留支持证据而拒答。真正的完整 RAG 应利用反证回答，而不是一味提高支持阈值。

固定最大类别概率阈值 0.85 时，Jev 自动处理 22/30，Qwen 为 15/30，这些被接受样本均未观察到错误；0.95 时分别为 21/30 与 3/30。clarify 类始终转澄清。这只是同一小样本上的阈值探索，不能据此推荐生产阈值。

样本由本轮 Agent 编写并固定标签，含明显易例；两组概率产生方式不同，Qwen 为提示词自报分布。数据没有代表真实业务分布，也没有独立人工评审或统计显著性检验。Brier 更低、这组速度更快均只能限定在本次配置；不能证明 RLCD 优于所有分类训练，更不能推导厂商宣传倍率。

内容健康与自测

厂商的“无幻觉”用语不能替代任务正确性检查；官方限制页承认错误与对抗脆弱性。既有官网速度倍率属于厂商指定工作流，不能迁移为本机或业务收益。类型约束、概率校准、业务验收必须分别判断。

主动回忆：为什么格式合法仍会错？为什么最大概率不是 confidence？为什么低 Brier 不能单独证明校准？为什么 RLCD 不能反推出 PPO 或 Brier 损失？为什么只留支持证据会漏掉反证？

30 秒讲法：Jev 像一个给程序用的语义判断器。你定义选项，它返回概率，程序决定做什么。RLCD 是厂商把训练朝校准决策调整的方向，但配方没公开，必须拿自己的样本验证。

2 分钟讲法：先用请求分流说明输出合同，再解释“选对”和“概率可信”不同；用报 80% 的一组预测说明校准；最后把模型放回 RAG 和 Agent，强调证据、确定性代码、失败处理与成本共同决定系统质量。不要把产品名当成全新的系统层。