Cloudflare Workers AI, 혼잡 시 동기 추론 대기 없이 실패 처리 옵션 추가

핵심 요약

Cloudflare Workers AI에 rejectIfBusy 옵션이 추가됐습니다. 동기 추론 요청 시 사용 가능한 처리 용량이 없으면 capacity queue에서 기다리는 대신 요청을 실패 처리할 수 있어, 지연 시간을 예측하기 어려운 상황에서 애플리케이션이 직접 재시도나 대체 경로를 선택할 수 있습니다.

주요 변경

• Workers AI 바인딩에서는 env.AI.run()의 세 번째 인수에 { rejectIfBusy: true }를 전달합니다.
• 네이티브 REST API와 OpenAI 호환 Chat Completions에서는 요청 본문의 options에 rejectIfBusy를 지정할 수 있습니다.
• 용량 부족으로 거절된 요청은 HTTP 429, 내부 오류 코드 3040과 함께 Capacity temporarily exceeded, please try again. 메시지를 반환합니다.
• OpenAI 클라이언트가 사용자 정의 필드를 제거하면 이 옵션이 적용되지 않고 요청은 기존 방식대로 진행됩니다.

개발자 영향

실시간 응답이나 짧은 지연 시간이 중요한 서비스에서는 용량 대기열에 머무는 대신 빠르게 실패를 감지해 재시도, 다른 모델 호출, 사용자 안내 같은 자체 복구 전략을 적용할 수 있습니다. 반대로 대기 후 처리되는 기존 동작을 원하면 이 옵션을 사용하지 않으면 됩니다.

발표 시각(KST): 2026년 9월 17일 · 세부 시각 미공개

원문 출처 보기 →