이번 소식
Vercel AI Gateway에 신뢰도 조건 기반 Decision Fallbacks 베타가 추가됐습니다. 첫 모델이 정상적으로 답했더라도, 개발자가 정한 불확실성 조건에 걸리면 다른 모델이 같은 판단 요청을 다시 처리합니다. 분류·점수·참거짓 판단을 앱에 연결하는 개발자가 대상입니다.
달라진 점
- 답변의 신호로 재판단: 선택지형 Choice와 점수형 Score에는
confidenceBelow기준을, 참거짓형 Boolean에는 확률 구간을 사용합니다. 신뢰도와 참일 확률은 서로 다른 값이며 여러 조건을 조합할 수 있습니다. - 직접 켜는 방식:
providerOptions.gateway.models의 첫 항목에 모델과 조건을 담은 객체 하나를 넣습니다. 조건 객체는 하나만 지원합니다. 설정하지 않은 요청과 기존 문자열 모델 목록의 실행 오류 대비 동작은 그대로 유지됩니다. - 요청 전체를 한 번 더 실행: 조건이 맞으면 특정 답만 고치는 것이 아니라 전체 판단을 대체 모델로 다시 수행합니다. 정상 응답에 대한 조건부 재판단은 한 단계만 지원합니다.
어떤 점이 달라지나요?
예를 들어 문의를 결제·계정·기술 지원 중 어디로 보낼지 분류하는 앱에서, 첫 결과의 신뢰도가 기준에 못 미칠 때만 다른 모델로 재판단하는 흐름을 구성할 수 있습니다. 공식 문서가 제시한 활용 방향이며, 항상 더 정확한 답을 얻거나 비용이 줄어든다고 검증된 것은 아닙니다. 신뢰도 수치를 정답률로 받아들이지 말고 실제 결과를 살펴 기준을 정해야 합니다.
사용 전 확인할 점
재판단이 실행되면 첫 호출과 두 번째 호출 모두 과금됩니다. 두 단계는 순서대로 실행돼 두 호출의 대기시간도 더해집니다. 대체 단계가 실패하면 첫 답을 대신 반환하지 않고 요청이 실패하며, 이미 실행한 첫 단계 비용은 남습니다. 응답의 routing.modelAttempts에서 시도한 모델과 조건이 맞은 이유를 확인할 수 있습니다.
현재 베타이며, 이 글에서는 API 실행·정확도·비용 비교를 직접 시험하지 않았습니다. 공식 설정 문서에서 질문 유형과 반환 값, 실패·과금 조건을 확인하세요.
공식 출처·발표 시점
공식 발표: 2026년 10월 7일 02:19 KST. 개별 공지의 발표 시각과 공식 피드가 일치합니다. 확인일은 2026년 10월 7일(KST)입니다.
새 글 받아보기
RSS 리더에서 BlogFlow의 새 글을 확인할 수 있습니다.