이 게시물은 당근이 전사적으로 GenAI를 활용하면서 생긴 운영·실험·공유의 문제를 해결하기 위해 구축한 플랫폼(LLM Router, Prompt Studio, KarrotChat)을 소개해요.

LLM Router

• 계정/API 키 난립, 보안 우려, 레이트리밋 불균형, 비용 집계 어려움을 해결하기 위해 모든 AI API 호출을 게이트웨이로 통합하고 서비스ID 기반으로 추적·관리해요.
• OpenAI 인터페이스를 표준으로 삼아 제공사(OpenAI/Anthropic/Google/사내 서빙)와 무관하게 동일한 방식으로 모델을 호출하도록 설계했어요.

Prompt Studio

• 코드 없이 프롬프트·모델을 빠르게 실험하고, 대규모 테스트셋 평가(Evaluation)와 버전/배포 관리, API 연동으로 운영까지 이어지게 해요.
• Retry, Region/Model Fallback, Circuit breaker 등으로 AI API 불안정에 대비하고 텍스트뿐 아니라 이미지·비디오 생성까지 지원해요.

KarrotChat

• Prompt Studio에서 만든 Agent와 MCP 도구를 사내 채팅에서 쉽게 사용·공유하게 하며, 빅쿼리 분석 Agent(데이터캣)처럼 SQL 지식 없이도 데이터 분석을 가능하게 한 사례를 제시해요.