检测方法论
共 21 项检测,分四个阶段递进:从成本最低、证据最确凿的 主动探测,到需要更强指纹手段的深度检测。逐项列出判定阈值与证据来源。
阶段 1 · 计量审计与身份指纹
先验:token 计数与分词器身份,成本最低、置信度最高。
| 支柱 | 检测项 | 说明 |
|---|---|---|
| 身份指纹 | A1.tokenizer_fingerprint分词器指纹 | A1:分词器指纹。 |
| 身份指纹 | A4.cross_origin_trace异源残留检测 | A4:响应体异源残留追踪(纯被动,零额外请求)。 |
| 身份指纹 | A5.thinking_signature思维签名验证 | — |
| 身份指纹 | A7.channel_attribution渠道来源归因 | — |
| 计量审计 | C1.token_countToken 计数一致性 | C1:本地精确计数 vs 上游上报的 prompt_tokens。 |
| 计量审计 | C2.pricing价格核对 | C2:中转站报价 vs 官方定价。 |
| 计量审计 | C5.category_inflation分类别内容膨胀率 | C5:按内容类别拆分膨胀率,定位上游对哪类内容虚标。 |
阶段 2 · 能力基准与降智检测
以静态题库与动态生成题检验推理能力是否达标。
| 支柱 | 检测项 | 说明 |
|---|---|---|
| 能力基准 | B1.capability_static静态能力基准 | B1:静态题库能力基准。 |
| 能力基准 | B2.capability_dynamic动态能力基准(防污染) | B2:动态题库能力基准(防污染,测真实推理)。 |
| 能力基准 | B3.consistency输出一致性 | B3:输出一致性。 |
| 能力基准 | B4.context_retrieval长上下文检索 | B4:长上下文检索。 |
| 能力基准 | B5.instruction_following指令遵循 | B5:指令遵循。 |
阶段 3 · 掺水、降档与时序
检测按比例混合路由、同家族降档与长期能力漂移。
| 支柱 | 检测项 | 说明 |
|---|---|---|
| 身份指纹 | A6.blending_detection掺水(混合路由)检测 | B7:掺水(按比例混合路由)检测。 |
| 能力基准 | B6.baseline_trend历史基线对比(时序监测) | B6:与历史基线对比。 |
| 能力基准 | B8.family_downgrade同族档位降档检测 | B8:同族档位降档检测。 |
阶段 4 · 深度指纹(可选)
logprobs 分布比对等强指纹手段,需上游支持。
| 支柱 | 检测项 | 说明 |
|---|---|---|
| 身份指纹 | A2.logprobs_fingerprintLogprobs 概率分布指纹 | A2:Logprobs 分布指纹。 |
| 身份指纹 | A8.protocol_shape协议形态一致性 | — |
| 能力基准 | B9.performance性能体检 | — |
| 计量审计 | C3.cache_billing缓存计费验证 | C3:缓存计费验证。 |
| 计量审计 | C4.stream_audit流式响应审计 | C4:流式响应审计。 |
| 计量审计 | C6.usage_shape用量字段自洽 | — |
本方法论存在边界与可能的误判,见 局限与误判。