Cloudflare AI Gateway User Insights, 모델 과사용·절감 후보 분석 추가

핵심 요약

Cloudflare가 AI Gateway User Insights에 모델 과사용과 비용 절감 후보를 찾는 분석 기능을 추가했습니다. 대화를 작업 유형별로 묶고 대화 턴을 추적해 모델 적합도·비용·지연 시간을 비교하며, 더 빠르거나 저렴한 모델로 바꿔도 품질을 유지할 가능성이 있는 요청을 Potential Savings에서 보여줍니다.

주요 변경

• User Insights가 사용자와 에이전트의 AI Gateway 트래픽을 작업 유형별로 분석하고 대화 턴을 추적합니다.
• 현재 선택한 모델이 작업에 비해 과도하게 높은 성능인지 비용·지연 시간과 함께 비교할 수 있습니다.
• Potential Savings는 품질 저하 없이 더 빠르거나 저렴한 모델을 사용할 가능성이 있는 요청을 표시합니다.
• Potential Savings에는 Cloudflare Auto Router가 작업과 비용을 기준으로 모델을 고를 때 사용하는 것과 같은 신호가 활용됩니다.
• 이 기능은 모든 AI Gateway 고객에게 추가 비용 없이 제공됩니다.

개발자 영향

AI Gateway로 여러 모델을 운영하는 팀은 요청 로그만 보는 대신 실제 작업 유형과 모델 비용·지연 시간을 함께 비교해 과도한 모델 사용을 찾을 수 있습니다. 다만 Potential Savings는 비용 절감 후보를 제시하는 분석 화면이므로, 운영 모델을 바꾸기 전에는 자체 품질 기준과 실제 응답 결과를 함께 검증하는 편이 안전합니다.

발표 시각(KST): 2026년 9월 29일 · 세부 시각 미공개

원문 출처 보기 →