삼성계정 서비스, 대규모 트래픽 속 Amazon MSK 를 이용한 무 중단 Database 스키마 전환
57
AI 요약

이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.

삼성계정 서비스의 무중단 Database 스키마 전환

이 게시물은 삼성계정 서비스에서 대규모 트래픽 속에서 Amazon MSK를 활용한 무중단 Database 스키마 전환과 데이터 암호화 과정을 설명합니다.

핵심 설계 및 구현

  • 운영 DB를 복제하여 오프라인 복제 DB를 생성 후 암호화 및 스키마 변경 마이그레이션 진행
  • Kafka 기반 이벤트 스트리밍 파이프라인 구축으로 실시간 데이터 암호화 및 대용량 데이터 마이그레이션 가능
  • Debezium connector를 활용해 CDC 및 Snapshot 데이터를 Kafka 메시지로 처리
  • 암호화와 함께 스키마 변경을 병행하며 Hashing 기법 도입으로 인덱스 문제 해결
  • 롤백 플랜으로 양방향 실시간 데이터 동기화 파이프라인 구축하여 데이터 유실 방지

성과 및 기대

이 설계를 통해 24/7 글로벌 대규모 서비스에서 서비스 영향 없이 개인정보 데이터 암호화 및 스키마 전환을 완료하였으며, Kafka의 확장성과 안정성을 실감할 수 있었습니다.

연관 게시글