LLM API 真正性・隠れ不正検知ツール

ブラウザで任意の OpenAI / Claude 互換 API を多ターン監査：文脈の一貫性、キャッシュヒットの整合性、トークン計量の異常、隠れた指示注入を確認します。キーは入力したエンドポイントにのみ送信されます。

検出できること

  • 多ターン文脈の一貫性：ターンが増える中の計算ずれと異常応答
  • キャッシュ動作：Cache Hit と usage 項目の整合性
  • トークン計量：可視出力と報告された completion_tokens の差（reasoning tokens を除く）
  • 隠れた指示注入：上流の count_tokens を基準に入力使用量を照合

監査の流れ

ブラウザから 3 または 8 ターンの増加する会話を送信し、実行ごとに一意の nonce を前置します。各ターンの usage、遅延、生のリクエスト/レスポンスを記録し、S/A/B/D とスコアに集約します。

結果の読み方

評価はヒューリスティックな監査です。異常シグナルは示せますが、ダウングレードモデルの使用を証明するものではありません。初回キャッシュや計量差は利用ログと照合し、1 回の結果を最終判断にしないでください。

プライバシーと費用

キーはページのメモリ内にのみ保持され、入力したエンドポイントにのみ送信されます。実行すると数回の実 API 呼び出しが発生し、対象サービスの料金で課金されます。

FAQ

ダウングレードモデルの使用を証明できますか？

できません。文脈のずれ、計量異常、初回キャッシュなどのシグナルを示すのみで、利用ログと再実行による確認が必要です。

なぜ初回のキャッシュヒットを警告するのですか？

実行ごとに system プロンプトの先頭へランダムな nonce を付けるため、通常のプレフィックスキャッシュは初回にヒットしません。それでもヒットする場合は確認する価値があります。

費用はどのくらいですか？

3 または 8 回の短いリクエスト（出力上限 256 トークン）で、対象サービスの単価により数円程度です。

ブログ