AI 비용을 줄일 때는 모델 가격과 프롬프트 길이뿐 아니라 반복되는 입력도 봐야 한다. 에이전트는 시스템 프롬프트, 도구 정의, 대화 기록의 상당 부분을 여러 요청에서 다시 사용한다. 프롬프트 캐싱은 이렇게 변하지 않는 앞부분을 다시 계산하는 비용을 줄인다.
반복되는 입력도 비용에 포함된다
LLM은 프롬프트의 토큰을 처리해 내부 상태(KV 캐시)를 만든 뒤 다음 토큰을 생성한다. 캐시 재사용이 없다면 긴 대화의 시스템 지침과 도구 설명도 요청마다 다시 처리된다. 에이전트는 도구 정의와 대화 기록이 길어지기 쉬워 반복 입력이 전체 사용량에서 큰 비중을 차지할 수 있다.
프롬프트 캐싱은 앞서 계산한 공통 프리픽스의 상태를 저장해 다음 요청에서 재사용한다. Anthropic과 OpenAI를 비롯한 공급자는 캐시에서 읽은 입력 토큰에 일반 입력과 다른 가격을 적용한다. 할인율, 자동 적용 여부, 최소 프롬프트 길이는 모델과 시점에 따라 달라지므로 공식 문서와 가격표를 기준으로 계산해야 한다.
캐시는 같은 앞부분이 유지될 때 작동한다
대부분의 프롬프트 캐시는 앞부분이 일치하는 구간을 재사용한다. 저장된 요청과 달라지는 지점부터는 새로 계산하므로, 앞쪽에 자주 바뀌는 값이 들어가면 뒤의 안정적인 내용도 캐시 이점을 얻기 어렵다.
시스템 프롬프트 앞부분에 현재 시각이나 요청 ID를 넣거나, 도구 목록과 JSON 키 순서가 요청마다 바뀌면 공통 프리픽스가 짧아진다. 이때 요청 자체는 정상 처리되므로 오류만 봐서는 캐시 적중 실패를 알기 어렵다. 공급자의 사용량 지표에서 캐시 읽기 토큰과 실제 할인액을 따로 확인해야 한다.
변하지 않는 내용을 앞에 둔다
캐시 적중률은 프롬프트의 순서에 크게 영향을 받는다. 시스템 지침, 도구 정의, 긴 참고 문서, 예시처럼 여러 요청에서 같은 내용을 앞에 두고, 사용자 입력처럼 달라지는 내용은 뒤에 배치한다. 실제로 어디까지 캐시되는지는 공급자별 정책과 최소 길이가 다르므로 문서와 사용량 로그를 함께 확인해야 한다.
다시 계산할 내용이 줄면 첫 토큰까지 걸리는 시간도 줄 수 있다. Anthropic 기준으로 캐시에서 읽은 토큰은 일부 입력 토큰 한도 계산에서도 다르게 처리된다. 비용뿐 아니라 지연과 처리량도 함께 측정할 이유가 있다.
캐시 생성비와 유지 조건도 계산한다
캐시에도 비용 조건이 있다. 일부 공급자는 캐시에 처음 쓸 때 일반 입력보다 높은 가격을 적용하고, 유지 시간에 따라 별도 저장료를 받는다. TTL이 지나면 다시 캐시를 만들기 때문에 호출 간격이 긴 기능은 절감 효과가 작을 수 있다. 예상 호출 횟수와 간격을 넣어 캐시 생성비·읽기 할인·저장료를 함께 계산해야 한다.
모델을 바꾸기 전에 프리픽스를 봐라
더 저렴한 모델로 바꾸기 전에 캐시 적중률도 확인할 필요가 있다. 모델별 캐시 가격과 품질이 달라 어느 쪽이 항상 싸다고 단정할 수는 없다. 청구액이 예상보다 크다면 프롬프트 앞부분이 요청마다 달라지는지, 실제 캐시 읽기 토큰이 얼마나 기록되는지부터 확인하는 편이 좋다.