AI와 함께하는 테스트 자동화: 플러그인 개발기

이 게시물은 IntelliJ 플러그인과 Amazon Q를 조합해 단위 테스트 작성 시간을 줄이고 컴파일 성공률과 커버리지를 높인 과정을 설명합니다.

배경과 목표

• 7개 레포지토리에서 엣지케이스/예외 테스트 부족으로 운영 안정성이 저하됨
• 반복되는 컨벤션 설명, 대상 메서드 판단, 빌드 오류 수정 때문에 클래스당 약 10분이 소요됨

첫 버전(플러그인→외부 LLM 완성 코드)의 한계

• 컴파일 성공률이 10%로 낮고, 기존 테스트가 덮어써져 사라지는 문제가 발생
• Import 오타, 존재하지 않는 클래스/필드, 타입 불일치, 잘못된 enum 값 등 오류 패턴이 반복됨
• 멀티모듈/동명 클래스가 많은 실제 프로젝트에서 어떤 클래스를 import해야 하는지 AI가 혼란을 겪음

개선: 컴파일 보장 템플릿 + Amazon Q

• 플러그인 역할

  컴파일 보장 템플릿 생성, 모든 메서드/분기 커버리지 보장, 기존 테스트 보존, 팀 컨벤션 적용

• Amazon Q 역할

  템플릿의 TODO 구현 및 IDE 컨텍스트 기반 오류 수정

효과

• Amazon Q 단독 대비 테스트 수(4→12), 커버리지(60%→95%), 소요 시간(8분→4분) 개선 사례를 제시
• 정량적으로 클래스당 10분→3분(70% 단축), 컴파일 성공률 85%→95%, 메서드 커버리지 67%→95%를 제시