당근의 GenAI 플랫폼

핵심 내용

• 당근이 GenAI 활용 확산에 맞춰 공통 플랫폼을 구축한 배경과 구조 소개
• LLM Router, Prompt Studio, KarrotChat으로 역할을 나눠 계정·비용·보안·실험·배포·Agent 사용을 통합
• 데이터 분석 Agent와 이미지·비디오 생성까지 포함한 사내 GenAI 활용 사례 확장

구조와 흐름

• LLM Router로 AI API 호출을 단일 관문으로 모아 계정과 키를 통합 관리
• Prompt Studio로 코드 없이 프롬프트 실험, 평가, 배포, 안정화 기능 제공
• KarrotChat에서 사내 Agent를 탐색·실행하며 MCP 기반 도구 활용

성능/운영 포인트

• Rate limit, 장애, 리전 문제에 대비한 Retry, Region Fallback, Model Fallback, Circuit breaker 구성
• 호출 추적과 비용 집계를 통해 서비스별 사용 현황과 운영 가시성 확보
• 수억 번의 호출이 처리되는 공통 인프라로서 안정성과 보안 강화

적용해볼 점

• 모델별 API를 직접 붙이기보다 공통 게이트웨이와 표준 인터페이스로 추상화하는 접근
• 프롬프트·모델·Agent를 실험과 배포가 쉬운 플랫폼으로 모아 조직 내 재사용성 높이기
• 데이터 도구와 MCP를 연결해 비개발자도 활용 가능한 Agent 생태계 설계