Kafka Connect로 DB 데이터 쉽게 연동하기

Kafka Connect와 JDBC 커넥터를 활용한 DB 데이터 연동

이 게시물은 Kafka Connect와 JDBC 커넥터를 이용하여 데이터베이스의 데이터를 Kafka로 쉽게 전송하는 방법과 발생 가능한 문제 및 해결 방안을 설명합니다.

Kafka Connect 개요

• 별도의 코딩 없이 JSON 설정만으로 다양한 데이터 소스와 시스템 간 실시간 데이터 파이프라인 구축 가능
• 커넥터, 태스크, 워커 구조로 구성되어 데이터 전송과 변환 처리

JDBC 소스 커넥터 기능 및 사용 이유

• 주기적 쿼리를 통한 데이터 추출 방식으로 로그 기반 CDC에 비해 구현과 이식성이 간단
• 증분 쿼리 모드(Incrementing, Timestamp, Timestamp and Incrementing)를 지원하여 변경 데이터만 효율적으로 처리

JDBC 소스 커넥터의 제약과 해결책

• 삭제 및 업데이트 데이터 누락 문제 발생 가능
• 주기적 쿼리 실행에 따른 지연 시간 존재
• timestamp.delay.interval.ms 옵션으로 데이터 적재 지연과 누락 간 균형 조절 가능

적용 시 고려사항

• 데이터 특성에 따라 갱신과 삭제가 없는 로그성 테이블에 적합
• 적절한 쿼리 주기와 지연 설정으로 안정적 데이터 파이프라인 구축 가능