데브옵스
Amazon Bedrock 기반 Claude Code, 조직에서 안전하게 운영하기: LLM Gateway 구축 가이드
두줄요약
Amazon Bedrock 기반 Claude Code를 조직에서 안전하게 쓰기 위한 LLM Gateway 구축 방법을 설명했습니다. SSO 연동, 사용자별 예산 통제, 내부망 호출로 엔터프라이즈 운영성을 높였습니다.
문제 상황
- AI 코딩 도구 도입 시 보안 승인, 사용량 추적, 사용자별 예산 통제, 기존 SSO 연동 요구 증가
- Claude Code를 Bedrock에 직접 연결할 경우 사용자별 비용 집계, 감사, 중앙 인증 관리 수작업 부담 증가
구조와 흐름
- IAM Identity Center SSO, Token Service, DynamoDB, LiteLLM Proxy, Aurora Serverless v2, Bedrock으로 이어지는 LLM Gateway 구성
- 개발자는 aws sso login과 claude 실행만 수행하고, Virtual Key 발급과 인증은 백그라운드에서 자동 처리
- Claude Code는 Bedrock pass-through 모드로 연결해 prompt caching 등 Bedrock 기능 유지
선택 이유
- SSO ARN에서 사용자 정보를 추출해 별도 사용자 DB 없이 개인 식별과 권한 통제 가능
- LiteLLM Virtual Key와 예산 기능으로 사용자별 비용 추적과 월 예산 제한 구현 가능
- Bedrock VPC Endpoint와 5단계 인증 체인으로 내부망 전송과 계층별 차단 강화
성능/운영 포인트
- DynamoDB 캐시로 Virtual Key를 밀리초 수준으로 반환
- 사용자별 예산 초과 시 해당 사용자만 차단하고 다른 사용자에는 영향 없음
- AWS Secrets Manager, 관리자 포털, AWS CDK로 운영과 배포 자동화 지원