Kafka와 ETL을 활용한 대용량 데이터 마이그레이션

이 게시물은 LINE Plus의 통합 커머스 검색 서비스에서 MySQL에서 MongoDB로 대용량 이미지 데이터를 마이그레이션한 경험을 공유합니다.

마이그레이션 배경과 필요성

• 이미지 데이터와 참조 데이터가 매달 수억 건씩 증가하며 MySQL 디스크 용량 한계 도달
• 스키마 변경의 어려움과 확장성 문제로 MongoDB 도입 결정

마이그레이션 전략과 구현

• ETL 데이터와 Kafka를 활용해 대량 데이터 효율적으로 전송
• Kafka 메시지 압축 및 파티션 조정으로 브로커 리소스 최적화
• MongoDB 샤딩 방식과 초기 청크 설정으로 부하 분산 극대화
• CDC(Change Data Capture)로 실시간 데이터 동기화 및 멱등성 보장

운영 전환과 검증

• API를 MongoDB 기반으로 전환하며 쓰기 고려 및 트랜잭션 처리 최적화
• 임베디드 MongoDB 활용한 리포지터리 및 통합 테스트 수행
• 성능 테스트 결과 MySQL 대비 큰 문제 없는 수준 확인
• DB 스위칭 시 다운타임 최소화 및 데이터 정합성 검증 절차 수립

성과 및 시사점

• MySQL 디스크 용량 2.17TB 확보 및 스키마 변경 자유도 향상
• 대규모 데이터 안정적 운영과 향후 확장성 확보
• 대용량 데이터 마이그레이션시 Kafka와 ETL, CDC의 조합이 효과적임을 입증