Vector를 활용한 멀티 CDN 로그 및 트래픽 관리

이 게시물은 Vector를 활용해 멀티 CDN 환경에서 로그와 트래픽을 효율적으로 관리한 사례를 공유합니다.

주요 개선 사항

• 다양한 데이터 소스 및 대시보드 통합
• 익스포터 대신 Vector의 log_to_metric 기능으로 로그를 메트릭으로 변환
• 통합 모니터링 체계 구축과 쿠버네티스 기반 자동화

Vector 도구 및 아키텍처

• DataDog에서 개발한 고성능 관찰 가능성 파이프라인 도구
• Aggregator 아키텍처를 선택해 대규모 데이터 수집에 최적화
• Helm 차트로 쿠버네티스에 배포하고 스테이트풀셋으로 상태 관리

구현 및 운영

• log_to_metric 기능으로 실시간 CDN 로그를 메트릭으로 변환하여 Prometheus와 Kafka로 전송
• 버퍼링 모델 적용으로 로그 손실 문제 해결
• internal_metrics 활용과 Grafana를 통한 클러스터 모니터링 체계 마련