몇 시간 뒤의 요청에서도 같은 맥락을 재사용
OpenAI가 2026년 10월 20일 API에 12시간 프롬프트 캐시 선택지를 추가했다. 몇 시간 간격으로 반복하는 요청에서도 공통 지시, 도구, 참고자료를 재사용하도록 지원하는 기능이다. 캐시에 쓰는 비용은 일반 입력 토큰 요금의 2.5배로 안내했다. 공식 변경 기록
일회성 질문보다 안정된 자료를 여러 번 사용하는 업무가 주된 검토 대상이다. 예를 들어 같은 내부 매뉴얼을 바탕으로 오전과 오후에 서로 다른 문의를 처리한다면, 자료가 반복되는 부분과 매번 바뀌는 질문을 나눠 볼 수 있다. 이 예시는 편집팀이 구성한 활용 장면이다.
하루 동안 반복되는 공통 맥락과 요청마다 달라지는 질문을 나누어 재사용하는 흐름.
새 설정은 Responses API의 캐시 수명 선택
공식 가이드는 GPT-5.6 이후 모델의 Responses API에서 prompt_cache_options.ttl에 "12h"를 지정하는 방식을 설명한다. 기본값인 "30m"는 일반 입력의 1.25배 쓰기 요금이며, 두 수명의 캐시 읽기 요율은 같다. 이 배수는 일반 입력 요금에 추가하는 할증이 아니라 총 쓰기 요율이다. 프롬프트 캐시 문서
따라서 보관 시간이 긴 쪽이 항상 경제적이라고 단정할 수 없다. 같은 자료를 얼마나 자주 다시 읽는지와 중간에 내용이 얼마나 바뀌는지를 함께 살펴야 한다. 자료가 자주 바뀌면 긴 수명 자체보다 재사용 가능한 부분을 안정적으로 구성하는 일이 우선이다.
최소 수명과 삭제 시점은 다른 개념
문서상 12시간은 캐시 읽기 요금 적용을 위한 최소 수명이다. 12시간 뒤 삭제된다는 뜻이 아니며 최대 데이터 보관 정책도 바꾸지 않는다. 모든 요청이 저장된 계산 상태를 재사용하거나 더 낮은 지연시간을 보장받는 설정 역시 아니다. 이전 모델의 prompt_cache_retention과도 구분해야 한다.
편집팀은 기업이 비용 설정과 자료 보관 정책을 서로 다른 항목으로 검토할 필요가 있다고 본다. 반복 자료가 최신 버전인지, 변경할 때 어떤 요청부터 새 내용을 쓰는지, 실제 사용 내역에서 재사용이 확인되는지를 함께 볼 수 있다. 캐시는 오래된 지시를 계속 사용하는 이유가 돼서는 안 된다.
도입 효과는 읽기와 쓰기를 함께 비교
작은 시험에서는 같은 작업을 기본 수명과 긴 수명으로 나눠 운영한 뒤 전체 입력 비용과 응답 시간을 비교할 수 있다. 한두 번 성공한 호출보다 실제 요청 간격과 자료 수정 주기를 반영한 표본이 유용하다.
예를 들어 하루 종일 바뀌지 않는 매뉴얼과 짧은 대화 중 계속 변하는 임시 맥락은 재사용 패턴이 다르다. 어떤 자료를 공통으로 두느냐가 설정값만큼 중요하다는 것이 편집팀의 해석이다. 실제 비용은 사용하는 모델의 요금과 캐시 사용 내역으로 판단해야 한다.
자주 묻는 질문
자동으로 모두 12시간 캐시가 되나?
기본 수명과 별도로 선택하는 설정이다.
쓰기 비용이 일반 입력보다 높은가?
긴 수명의 총 쓰기 요율은 일반 입력의 2.5배다.
12시간이 지나면 자료가 삭제되나?
캐시의 최소 수명과 데이터 삭제 시점은 같은 개념이 아니다.
기존 모델의 설정을 그대로 바꾸면 되나?
모델에 따라 캐시 매개변수가 다르므로 지원 문서를 확인해야 한다.
한눈에 정리
12시간 캐시는 시간 간격이 긴 반복 작업을 위한 선택지다. 쓰기 비용과 실제 재사용량, 자료 갱신 주기를 함께 비교해 적용 여부를 정할 수 있다.