이번 소식
OpenAI는 2026년 10월 20일 Responses API에서 12시간 프롬프트 캐시를 선택할 수 있다고 발표했습니다. 같은 지침·도구·참고 문맥을 반복해서 보내는 앱이, 요청 사이에 몇 시간이 지나도 캐시 입력 요금의 혜택을 받을 수 있도록 하는 변경입니다.
달라진 점
GPT-5.6 이후 모델에서는 요청의 prompt_cache_options.ttl을 "12h"로 지정할 수 있습니다. 설정하지 않으면 기존 기본값인 "30m"가 유지됩니다. 이전에 소개한 30분 재사용 개선에 더해 긴 간격으로 재사용하는 자료를 위한 선택지가 생긴 것입니다.
캐시에 새로 쓰는 입력은 12시간 옵션에서 일반 입력 토큰 단가의 2.5배, 기본 30분 옵션에서는 1.25배입니다. 이는 일반 입력 요금에 덧붙이는 할증액이 아니라 해당 쓰기의 전체 요율입니다. 이미 저장된 내용을 읽을 때의 캐시 입력 요율은 두 옵션이 같습니다.
어떤 점이 달라지나요?
하루 동안 반복해서 사용하는 공통 지침이나 참고 자료는 긴 수명을 선택하고, 자주 바뀌는 대화 문맥은 30분으로 둘 수 있습니다. 한 요청 안에서도 캐시 구간별로 수명을 지정할 수 있습니다. 다만 처음 저장할 때의 요금이 더 높으므로, 오래 남겨 두는 것만으로 모든 작업의 총비용이 줄어드는 것은 아닙니다.
사용 전 확인할 점
공식 문서에서 12시간은 캐시 읽기 요금 적용을 위한 최소 수명을 뜻합니다. 정확히 12시간 뒤 데이터를 삭제한다는 기한이 아니며, 모든 요청의 캐시 재사용이나 응답 지연 감소도 보장하지 않습니다. 이번 변경은 API를 연결한 앱을 만드는 사람을 위한 기능이며, ChatGPT 구독의 사용량이나 대화 보존 설정 변경으로 안내된 것은 아닙니다.
새 글 받아보기
RSS 리더에서 BlogFlow의 새 글을 확인할 수 있습니다.