LLMOps로 확장하는 AI플랫폼 2.0

이 게시물은 우아한형제들 AI플랫폼팀이 기존 MLOps 플랫폼을 넘어 LLMOps 중심의 AI플랫폼 2.0을 구축한 과정을 소개합니다.

운영상 문제와 해결 전략

• 멀티 벤더 API 호출 및 크레덴셜 관리 복잡성
• 프롬프트 버전 관리와 협업 한계
• 외부 API 특성에 따른 안정성 문제
• 비용·리소스 관리 어려움
• 체계적 실험 관리 부재
• 비개발자용 셀프서비스 환경 수요
• 키 발급 절차의 복잡성
• 보안·개인정보 보호 문제

GenAI 컴포넌트 구성

• Studio: 프롬프트 관리, Observability, 크레덴셜 및 데이터셋 관리 중심 허브
• SDK: 반복 작업 표준화 및 크레덴셜 단일화
• API Gateway: OpenAI 호환 API 제공
• Labs: 실험 관리 및 사용자 확장 지원

Langfuse 선택 이유

프롬프트 관리와 Trace 기반 Observability에 최적화되어 있으며, 운영 환경에서 필요한 모니터링과 품질 개선 기능을 제공해 AI플랫폼 2.0의 핵심이 되었습니다.