백엔드
Kafka 메시지 중복 및 유실 케이스별 해결 방법
두줄요약
Kafka 메시지 중복과 유실을 Producer, Consumer, MSK 운영 구간별로 나누어 해결 방법을 정리했습니다. AWS MSK 환경에서 설정과 운영 포인트를 함께 점검할 수 있는 글입니다.
핵심 내용
- Kafka 메시지 중복·유실을 케이스별로 분석하고, AWS MSK 기반 OMS 프로젝트에서의 해결 방법을 정리한 글
- Producer-Broker, Consumer-Broker 구간별로 acks, retries, enable.idempotence, offset commit, graceful shutdown, rebalance 관련 설정을 점검
- MSK 보안 패치와 고가용성 대응을 위해 Multi-AZ, Replication Factor, min.insync.replicas, 파티션 할당 전략, DLQ 백업 구조까지 다룸
적용해볼 점
- Kafka 2.x 환경에서는 멱등성, 커밋 방식, 리밸런싱 설정을 함께 검토할 필요
- 대규모 운영 환경에서는 파티션 할당 전략과 DLQ 백업 체계를 함께 설계할 필요
- MSK 사용 시 보안 패치 시간까지 고려한 복제·가용성 설정이 중요