이 게시물은 OpenTelemetry와 ClickHouse 기반 ClickStack으로 대규모 로그 파이프라인을 재설계해 실시간 처리와 비용 절감을 달성한 사례입니다.

핵심 변경 사항

• 수집: Filebeat → OpenTelemetry(OTLP 프로토콜, 배치 전송)으로 전환해 전송량 40~60% 절감 및 처리량 18배 향상
• 메시지 큐·처리: Kafka Topic 통합(300→18) 및 Fluentd → OpenTelemetry Collector 전환으로 1 Core당 처리량 26배 향상, 전체 지연 20초 이내 확보
• 저장소: OpenSearch → ClickHouse 전환으로 컬럼형 압축·벡터화 집계 적용해 저장 용량과 비용 대폭 절감
• 장기 보관·조회: ssak3로 ClickHouse 데이터를 Parquet+ZSTD로 S3 아카이빙하고 ClickHouse S3 엔진으로 장기 조회 통합
• 조회 UI: HyperDX로 컬럼 기반 검색 제공해 실시간·장기 조회를 하나의 인터페이스로 통합