PostgreSQL to ES: Kafka Connect CDC 파이프라인 구성

이 게시물은 PostgreSQL 데이터베이스에서 Elasticsearch(ES)로 데이터를 실시간으로 동기화하기 위한 Kafka Connect CDC(Change Data Capture) 파이프라인 구성 방법을 소개합니다.

주요 내용

• 클린플랫폼의 콘텐츠 모니터링 시스템에서 발생한 레거시 문제 설명
• Kafka Connect를 활용한 CDC 파이프라인 설계 및 구현
• PostgreSQL과 Elasticsearch 간 데이터 일관성 유지 방법

적용 배경과 기대 효과

약 10년 동안 운영된 시스템의 데이터 동기화 문제를 해결하고, 실시간 검색 및 모니터링 성능을 향상시키는 것을 목표로 합니다.