大模型 API 真实性与计量检测器

在浏览器里对任意 OpenAI / Claude 兼容 API 做多轮审计：检查上下文一致性、缓存命中是否自洽、Token 计量是否异常，以及是否存在隐藏指令注入。密钥只发往你填写的接口。

它能检测什么

  • 多轮上下文一致性：递增对话中的计算漂移与异常响应
  • 缓存行为：Cache Hit 与 usage 字段是否自洽
  • Token 计量：可见输出与上报 completion_tokens 的差异（已排除 reasoning tokens）
  • 隐藏指令注入：用上游 count_tokens 基准核对输入用量

一次审计怎么跑

页面在浏览器中依次发起 3 轮或 8 轮递增对话，每次运行带唯一随机前缀；逐轮记录 usage、延迟与原始请求/响应报文，最后按规则汇总为 S/A/B/D 与分数。

结果怎么读

分级是启发式审计：它能发现异常信号，但不能证明某个 API 一定使用了降级模型。首轮缓存、计量差异等标记都需要结合调用日志人工复核，单次结果不构成对供应商的最终认定。

隐私与费用

密钥只保存在当前页面内存，只发送到你填写的 API 地址，不经过本页服务器；测试会产生若干次真实调用，费用按目标服务商的价格计。

FAQ

这个工具能证明某个 API 使用了降级模型吗？

不能。它只能发现上下文漂移、计量异常、首轮缓存等信号，需要结合调用日志和多次复测判断。

为什么首轮就出现缓存命中会被标记？

每次运行都会在系统提示词最前面加入随机前缀，正常的前缀缓存不应在首轮命中；若仍命中，说明该服务存在跨请求的缓存行为，值得复核。

测试会产生多少费用？

3 轮或 8 轮短请求，输出上限 256 tokens，费用取决于目标服务商的单价，通常在几分钱以内。

博客