Kafka 메시지 중복 및 유실 케이스별 해결 방법
10
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
Kafka 메시지 중복 및 유실 방지
OMS 프로젝트에서 올리브영의 SCM 스쿼드는 AWS MSK를 통해 Kafka를 구축하고 메시지 중복과 유실 문제를 해결하기 위한 방안을 모색했습니다. 프로젝트는 EAI와 Batch를 제거하고 Kafka Topic을 통해 실시간 데이터 송수신 구조를 마련했습니다. 메시지 전달 보장을 위해 'Exactly-once guarantees'를 설정하고, acks 옵션을 조정하여 유실을 방지했습니다.
메시지 유실 및 중복 문제 해결
- Producer와 Broker 간 네트워크 통신 구간에서 acks=all 옵션을 설정하여 메시지 유실 방지
- enable.idempotence=true를 통해 중복 Producing 방지
- Consumer가 Broker와의 통신 구간에서 auto.offset.reset과 Graceful Shutdown 설정으로 메시지 유실 방지