1
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
MSK와 MSK Connect 소개
올리브영의 B2B 물류 스쿼드는 AWS MSK Connect를 도입하여 비동기 통신과 CDC(Change Data Capture)를 통해 데이터 처리 방식을 개선하고 있습니다. MSK는 Apache Kafka의 관리형 서비스로, Broker, Producer, Consumer로 구성되어 있으며 데이터 일관성, 비동기 통신, 메시지 유지의 특성을 가지고 있습니다.
MSK Connect의 역할
MSK Connect는 외부 시스템과 Kafka 클러스터 간 데이터 전송을 용이하게 하며, 197개의 플러그인을 통해 다양한 시스템과 호환됩니다. MSK 클러스터는 다중 가용 영역에서 운영되며, 'Replication Factor' 설정을 통해 데이터 손실을 방지합니다.
- Topic의 Partitions 설정은 Replication Factor와 관계가 있습니다.
- Avro 포맷을 사용하여 데이터 용량을 줄이고, AWS Glue Schema Registry로 메타 정보를 관리합니다.
- Dead Letter Queue(DLQ)를 설정해 메시지 처리 실패를 관리합니다.
모니터링은 AWS CloudWatch와 DataDog을 통해 진행되며, 주요 지표를 실시간으로 확인합니다.
