이 게시물은 OpenTelemetry와 Kafka를 활용해 MSA 환경에서 안정적이고 확장 가능한 Observability 데이터 파이프라인을 구축한 경험을 설명합니다.

OpenTelemetry의 표준 개념(OTLP)과 3대 시그널(Traces, Metrics, Logs), 그리고 Collector의 역할(Receiver/Processor/Exporter)을 정리합니다.

구성은 애플리케이션 SDK(자동 계측·Operator) → 중앙 Gateway Collector(정책 중앙화·정제·Kafka 전송) → Kafka(버퍼링·유실 방지·디커플링) → 시그널별 Collector로 분리해 Tempo/Mimir/Loki에 적재하는 흐름입니다.

• Gateway에서는 불필요 속성 제거, 기본 namespace 추가, 로그 본문 길이 제한 등 공통 정책을 적용하고 Kafka 메시지 크기(1MB)에 맞춰 배치 크기를 바이트 단위로 제어합니다.
• Signal Collector는 Kafka를 consume하며 성공 export 이후 commit 설정과 KEDA 기반 오토스케일링으로 처리 안정성과 확장성을 확보합니다.