Kafka와 Strimzi를 이용한 도메인 통합 마이그레이션

이 게시물은 무신사 커뮤니티 개발팀이 6개의 도메인을 하나의 통합 도메인 모델로 마이그레이션한 사례를 공유합니다.

마이그레이션 배경과 아키텍처 선택

• 레거시 도메인 통합을 위해 실시간에 가까운 데이터 마이그레이션 파이프라인 구축 필요
• Strangler Fig Pattern을 적용하여 점진적 마이그레이션 진행
• Batch, Lambda, Kappa Architecture 비교 후 CDC와 Kafka Streams를 활용한 Kappa Architecture 선택

Strimzi Operator와 Kafka Connect 활용

• 쿠버네티스 환경에서 Strimzi Operator를 이용해 Kafka Connect Cluster 구축
• Debezium을 활용한 CDC Source Connector 설정 및 Kafka Topic 관리
• Kafka Streams로 CDC 토픽의 데이터를 역정규화하여 통합 도메인 모델 생성

운영 및 확장 전략

• 데이터 재마이그레이션을 위한 다양한 방법 구현
• Consumer Offset 관리 및 파이프라인 성능 조절로 실시간 데이터 처리 보장
• 추가적인 개선과 확장 가능성 모색