대형 모델 API 진위 및 부정 과금 탐지기

브라우저에서 OpenAI / Claude 호환 API를 다중 턴으로 감사합니다: 문맥 일관성, 캐시 적중의 정합성, 토큰 계량 이상, 숨겨진 지시 주입을 확인합니다. 키는 입력한 엔드포인트로만 전송됩니다.

무엇을 확인하나요

  • 다중 턴 문맥 일관성: 턴이 늘어날 때의 계산 드리프트와 이상 응답
  • 캐시 동작: Cache Hit와 usage 항목의 정합성
  • 토큰 계량: 보이는 출력과 보고된 completion_tokens의 차이(reasoning tokens 제외)
  • 숨겨진 지시 주입: 업스트림 count_tokens 기준으로 입력 사용량 대조

감사 진행 방식

브라우저에서 3 또는 8개의 증가하는 대화를 보내고, 실행마다 고유 nonce를 앞에 붙입니다. 매 턴의 usage, 지연, 원본 요청/응답을 기록한 뒤 S/A/B/D 등급과 점수로 요약합니다.

결과 해석

등급은 휴리스틱 감사입니다. 이상 신호를 보여줄 뿐, 다운그레이드 모델 사용을 증명하지는 않습니다. 첫 턴 캐시 적중과 계량 차이는 호출 로그로 확인해야 하며, 단일 결과는 최종 판정이 아닙니다.

개인정보와 비용

키는 페이지 메모리에만 유지되고 입력한 엔드포인트로만 전송되며 이 사이트로는 전송되지 않습니다. 실행 시 실제 API 호출이 몇 차례 발생하고 대상 서비스 요금으로 과금됩니다.

FAQ

다운그레이드 모델 사용을 증명할 수 있나요?

아니요. 문맥 드리프트, 계량 이상, 첫 턴 캐시 적중 같은 신호만 보여주며 호출 로그와 반복 실행이 필요합니다.

왜 첫 턴 캐시 적중을 표시하나요?

실행마다 system 프롬프트 맨 앞에 임의 nonce를 붙이므로 정상적인 접두사 캐시는 첫 턴에 적중하지 않습니다. 그래도 적중하면 확인할 가치가 있습니다.

비용은 얼마나 드나요?

출력 상한 256토큰의 짧은 요청 3회 또는 8회로, 대상 서비스 단가 기준 보통 몇십 원 이내입니다.

블로그