Debezium MSK Connect 운영 및 안정성 확보

Debezium MSK Connect의 운용을 통해 시스템 안정성을 높이기 위한 모니터링과 알람 설정이 중요하다.
Connector의 이상 발생 시 조기 감지 및 대응을 위해 Topic Heartbeat 기능을 활용하여 Slack으로 알림을 발송한다.
Connector가 정상 작동하지 않을 경우, Offset을 사용한 복구를 시도하며, 불가능할 경우 신규 Connector를 생성한다.
기존 테이블 구조와 다른 신규 시스템 테이블로 데이터 전송을 위해 Consumer Worker를 구성하고, AOP를 통해 메시지 처리 시간을 비교하여 최신 메시지만 처리하도록 설정한다.
Failover 상황에서는 데이터 무결성을 유지하고, 서비스 중단을 최소화하기 위한 전략이 필요하다.
스냅샷 쿼리를 커스터마이징하여 필요한 데이터만 선택하고, AOP를 활용해 Failover 처리를 공통화한다.
이러한 절차를 통해 데이터 연속성을 보장하고, 시스템의 신뢰성을 강화할 수 있다.