检测方法论

共 21 项检测,分四个阶段递进:从成本最低、证据最确凿的 主动探测,到需要更强指纹手段的深度检测。逐项列出判定阈值与证据来源。

阶段 1 · 计量审计与身份指纹

先验:token 计数与分词器身份,成本最低、置信度最高。

支柱检测项说明
身份指纹A1.tokenizer_fingerprint
分词器指纹
A1:分词器指纹。
身份指纹A4.cross_origin_trace
异源残留检测
A4:响应体异源残留追踪(纯被动,零额外请求)。
身份指纹A5.thinking_signature
思维签名验证
—
身份指纹A7.channel_attribution
渠道来源归因
—
计量审计C1.token_count
Token 计数一致性
C1:本地精确计数 vs 上游上报的 prompt_tokens。
计量审计C2.pricing
价格核对
C2:中转站报价 vs 官方定价。
计量审计C5.category_inflation
分类别内容膨胀率
C5:按内容类别拆分膨胀率,定位上游对哪类内容虚标。

阶段 2 · 能力基准与降智检测

以静态题库与动态生成题检验推理能力是否达标。

支柱检测项说明
能力基准B1.capability_static
静态能力基准
B1:静态题库能力基准。
能力基准B2.capability_dynamic
动态能力基准(防污染)
B2:动态题库能力基准(防污染,测真实推理)。
能力基准B3.consistency
输出一致性
B3:输出一致性。
能力基准B4.context_retrieval
长上下文检索
B4:长上下文检索。
能力基准B5.instruction_following
指令遵循
B5:指令遵循。

阶段 3 · 掺水、降档与时序

检测按比例混合路由、同家族降档与长期能力漂移。

支柱检测项说明
身份指纹A6.blending_detection
掺水(混合路由)检测
B7:掺水(按比例混合路由)检测。
能力基准B6.baseline_trend
历史基线对比(时序监测)
B6:与历史基线对比。
能力基准B8.family_downgrade
同族档位降档检测
B8:同族档位降档检测。

阶段 4 · 深度指纹(可选)

logprobs 分布比对等强指纹手段,需上游支持。

支柱检测项说明
身份指纹A2.logprobs_fingerprint
Logprobs 概率分布指纹
A2:Logprobs 分布指纹。
身份指纹A8.protocol_shape
协议形态一致性
—
能力基准B9.performance
性能体检
—
计量审计C3.cache_billing
缓存计费验证
C3:缓存计费验证。
计量审计C4.stream_audit
流式响应审计
C4:流式响应审计。
计量审计C6.usage_shape
用量字段自洽
—

本方法论存在边界与可能的误判,见 局限与误判。