CDC 파이프라인 정합성 검사 Spark 잡 개발 - Part 1. 코드 설계편

이 게시물은 카카오 데이터분석플랫폼 조직에서 CDC(Change Data Capture) 파이프라인의 정합성 검사를 위한 Spark 잡 개발의 코드 설계 부분을 다룹니다.

주요 내용

• 카카오 내 여러 서비스의 데이터를 한 곳으로 응집하는 과정 소개
• 약 300개 이상의 데이터 파이프라인 관리 필요성
• Spark 잡을 활용한 정합성 검사 설계 방향 설명

추가 사항

이 글은 Part 1으로, 코드 설계에 집중하며 이후 Part 2에서는 Spark 최적화 기법을 다룰 예정입니다.