AI 리뷰를 신뢰할 수 있을까요?
AI
AI 리뷰를 신뢰할 수 있을까요?
두줄요약
AI 코드 리뷰의 신뢰성을 높이기 위해 자체 벤치마크와 반영률 지표를 만들고 개선 과정을 정리했습니다. 서브에이전트와 프롬프트 튜닝의 한계를 확인한 뒤 데이터 기반으로 모델과 워크플로를 바꿨습니다.
핵심 내용
- AI 코드 리뷰 신뢰성 개선을 위해 자체 벤치마크와 정량 지표를 구축한 과정
- 프로덕션 버그 기반 테스트케이스, LLM-as-a-Judge 채점, 반영률(Adoption Rate) 측정 도입
- 서브에이전트 구성 실패, 벤치마크 오염 문제, 모델 A/B 테스트를 거쳐 GPT 5.2 Codex로 기본 모델 전환
- PR 본문 보강, 질문 뱃지, 리뷰 스레드 자동 정리 등으로 노이즈를 줄이고 반영률을 개선한 사례