로그 파이프라인 개선 과정

이 게시물은 쏘카 데이터엔지니어링팀의 로그 파이프라인 개선 과정을 설명합니다.

주요 문제점

• 분류 작업의 비효율성으로 인한 데이터 중복 저장
• 데이터 신선도 부족으로 실시간 대응 실패
• 스키마 변경 관리 체계 부재

해결 방안

저자들은 문제 해결을 위해 MSK 도입, 실시간 스트리밍 파이프라인 구축, 데이터 컨트랙트 도입 등의 방안을 세웠습니다.