Flowise와 LLM을 활용한 에러 분석 자동화

이 게시물은 LLM과 Flowise를 활용해 서비스 에러 원인 분석과 해결 방안을 자동화하여 팀의 생산성을 향상시킨 사례를 소개합니다.

주요 구성 요소

• Flowise: 코드 작성 없이 LLM 워크플로를 시각적으로 구성하는 오픈 소스 도구
• ChatOpenAI API Loader: 자체 생성한 토스 모델 toss-standard 적용
• Swagger 기반 API 스펙 활용으로 LLM에 정확한 메타데이터 제공
• Structured Output Parser: LLM 응답을 JSON 형식으로 구조화
• 프롬프트 템플릿: 역할과 목표를 명확히 하여 분석 정확도 향상

분석 및 알림 프로세스

• 스택 트레이스 필터링 및 메서드 시그니처 추출로 정확한 컨텍스트 제공
• LLM에 에러 상황 전달 후 분석 결과를 Slack 알림으로 전송해 비동기 협업 지원
• 중복 알림 방지 및 효율적인 알림 정책 적용

성과 및 향후 계획

• 에러 메시지 고도화로 이해도 및 대응 속도 향상
• 지속적인 프롬프트 개선과 추가 정보 반영으로 업무 생산성 증가 기대