이 게시물은 Karrot가 GenAI 도입을 확장하며 직면한 문제와 구축한 플랫폼 정리.

LLM Router

• 중앙 게이트웨이로 모든 AI API 호출 집중화, 계정·API 키 관리 통합 및 비용·쿼터 가시성 제공.

Prompt Studio

• 무코드 프롬프트 실험 환경과 대규모 평가·버전 관리·UI 배포 지원, 재시도·지역·모델 폴백·서킷브레이커로 고가용성 확보.

KarrotChat

• Prompt Studio에서 만든 에이전트와 MCP 허브 도구를 발견·사용하는 내부 에이전트 플랫폼, 실행 추적으로 단계별 디버깅 지원.