팀장님이 QA 100번 시키길래 만들었습니다.

핵심 내용

• 비결정적 AI 워크플로우인 앱 태스크를 자동으로 QA하기 위한 에이전트 개발기
• 태스크를 그래프로 보고 DFS로 시나리오를 생성한 뒤, AI 사용자와 봇을 대화시켜 검증하는 방식
• 외부 API 호출은 가짜 데이터로 대체하고, 웹훅 기반 실시간 응답 수신과 평가용 판정 루프를 구성
• 결과를 바탕으로 태스크를 개선하는 하네스를 묶어 self-evolving 흐름으로 확장

적용해볼 점

• 시나리오를 경로 탐색 문제로 바꿔 누락 없이 검증하는 접근
• 결정론적 테스트를 위해 외부 의존성을 분리하고 기대값을 주입하는 방식
• 반복 검증 비용과 자동화 손익분기점을 함께 고려하는 관점