이번 소식
GitHub가 AI 코드 리뷰 에이전트를 직접 비교·평가할 수 있는 ReviewBench 연구 프리뷰를 공개했습니다. 순위표뿐 아니라 공개 PR 데이터와 실행·채점 도구를 함께 제공합니다.
주요 변경
- 19개 언어의 PR 219개와 기준 판정 자료를 공개했습니다. 25개 테스트 PR로 먼저 점검한 뒤 전체 데이터로 평가를 넓힐 수 있습니다.
- 개발자가 준비한 리뷰 에이전트를 컨테이너로 실행하는 스크립트와 별도의 로컬 채점 CLI를 제공합니다. 실행 스크립트의 결과 형식 검사와 실제 채점은 구분됩니다.
- 공식 리더보드 등록은 포털을 통한 최종 평가와 관리자 승인이 필요합니다. 튜닝·테스트의 모델 호출과 연산 비용은 사용자가 부담하며, ReviewBench가 부담하는 것은 최종 제출의 심사 모델 비용입니다.
어떤 점이 달라지나요?
리뷰 에이전트의 모델이나 프롬프트를 바꿀 때 놓치는 문제와 잘못 지적하는 문제를 같은 자료로 비교하는 데 활용할 수 있습니다. 다만 연구 프리뷰이며, 이 소식이 Copilot 자체의 성능 향상이나 무료 모델 실행을 뜻하지는 않습니다. 공개 저장소의 실행 조건을 먼저 확인하세요. 이번 조사에서 에이전트 실행·채점은 하지 않았습니다.
발표 시각(KST): 2026년 10월 6일 00:59:40, 공식 발표 페이지의 게시 메타데이터 기준입니다.
새 글 받아보기
RSS 리더에서 BlogFlow의 새 글을 확인할 수 있습니다.