모델만 바꿨는데 LLM 비용이 3배가 된 이유

문제 & 배경: Gemini를 단가가 20% 낮은 GPT-5.6으로 교체했지만 오류 없이 요청당 비용이 3.2배 증가했고, 캐시 히트율이 85.8%에서 2.3%로 떨어졌다.

기술 & 해결책: 반복되는 지시문과 카테고리 목록 같은 프롬프트 고정부를 캐시해 재사용하는 프롬프트 캐싱의 원리와 비용·활성화·저장 범위·캐시 확인 방법을 OpenAI, Anthropic, Gemini 기준으로 비교했다.

교훈 & 주의점: 프롬프트 캐시가 깨져도 에러가 발생하지 않고 비용만 증가하므로 모델 교체 시 사용량의 캐시 필드와 캐시 히트율을 반드시 모니터링해야 한다.