Cloudflare가 AI Gateway의 커스텀 비용 계산에 캐시 읽기·쓰기 토큰 요율을 추가했습니다. 모델 공급자와 별도로 협의한 프롬프트 캐시 가격이 있는 경우, 이제 일반 입력 토큰 요율로 묶지 않고 실제 캐시 요율을 비용 지표에 반영할 수 있습니다.
주요 변경
cf-aig-custom-cost헤더에per_cache_read_token과per_cache_write_token을 지정할 수 있습니다.- 두 캐시 요율 중 하나라도 지정하면 캐시 토큰 비용 계산이 활성화됩니다. 한쪽 요율을 생략하면 해당 값은
per_token_in을 기본값으로 사용합니다. - 두 캐시 요율을 모두 생략한 기존 설정은 이전과 동일한 입력·출력 토큰 비용 계산 방식을 유지합니다.
- 공급자가 캐시 토큰을 입력 토큰에 포함해 보고하거나 별도 항목으로 보고하는 차이를 AI Gateway가 자동 처리해 비용이 이중 계산되지 않도록 합니다.
개발자 영향
AI Gateway에서 공급자별 협상 단가나 캐시 할인을 반영해 비용을 추적하는 서비스는 캐시 읽기·쓰기 단가를 별도로 계산할 수 있게 됐습니다. 기존 cf-aig-custom-cost 설정은 그대로 동작하므로 필수 마이그레이션이나 Breaking Change는 아니며, 프롬프트 캐싱 비용을 실제 계약 단가에 가깝게 집계해야 하는 환경에서 새 필드를 추가하면 됩니다.
원문 발표: · Cloudflare AI Gateway
새 글 받아보기
RSS 리더에서 BlogFlow의 새 글을 확인할 수 있습니다.