AI 코드 리뷰 자동화, 판정은 왜 흔들릴까? 원인과 해결법 4가지
AI
AI 코드 리뷰 자동화, 판정은 왜 흔들릴까? 원인과 해결법 4가지
두줄요약
LLM 코드 리뷰는 같은 입력에도 판정이 달라질 수 있어 자동화에서 흔들림이 생길 수 있습니다. 이를 줄이기 위해 코드 위임, 출력 폭 좁히기, 다수결, 하네스 적용을 제안했습니다.
핵심 내용
- LLM 기반 AI 코드 리뷰에서 같은 입력도 판정이 흔들리는 비결정성 문제 정리
- temperature를 0으로 낮춰도 남는 흔들림의 원인으로 추론 방식, 배칭, 입력 민감성 제시
- 실무 대응으로 코드 위임, 폭 좁히기, 다수결, 하네스의 네 가지 방향 제안
- 기준표와 라벨 제한, 다수결 실험을 통해 판정 일관성 개선 효과 확인
적용해볼 점
- 심각도 판정처럼 뒤집히면 안 되는 단계는 선택지와 기준표로 출력 폭 제한
- 형식 검증과 재시도, 반복 호출은 프롬프트가 아니라 코드 하네스로 감싸기
- 경계선 판정에는 다수결을 붙이고, 결정적 작업은 LLM 대신 코드로 위임