쿠버네티스 네이티브 워크플로를 이용한 대용량 스트리밍 파이프라인 검증 자동화 - 1편

이 게시물은 LINE 광고 플랫폼의 대용량 스트리밍 파이프라인의 구조와 직면한 기술적 문제점, 그리고 이를 검증하기 위한 자동화 워크플로의 필요성에 대해 설명합니다.

대용량 스트리밍 파이프라인 특징 및 문제점

• 하루 수십억 건 이상의 데이터를 실시간으로 처리
• 분산 시스템의 복잡성으로 인한 리소스 산정과 병목 지점 파악의 어려움
• 상태 저장 및 장애 대응의 복잡성

검증 및 자동화 필요성

• 실제 데이터를 활용한 성능 및 비용 효율성 검증의 중요성
• 장애 시나리오의 카오스 테스트를 통한 내결함성 확보
• 쿠버네티스 네이티브 워크플로(Tekton, Litmus)를 활용한 반복적이고 효율적인 통합 테스트 환경 구축