카프카 커넥트 개요 및 동작 방식

이 게시물은 카프카 커넥트의 기본 개념과 동작 방식을 소개합니다.

주요 내용

• 카프카 커넥트는 아파치 카프카와 외부 시스템 간 데이터 전송을 담당하는 도구입니다.
• REST API를 통해 코드 작성 없이 커넥터를 생성하여 데이터 파이프라인을 손쉽게 구성할 수 있습니다.
• 커넥터는 소스 커넥터와 싱크 커넥터로 구분되며, 각각 프로듀서와 컨슈머 역할을 수행합니다.
• 대표적인 JDBC, HDFS 커넥터를 활용한 데이터 흐름 예제를 통해 이해를 돕습니다.
• 카프카 커넥트는 내결함성, 스케일 아웃, 데이터 변환 기능 등 다양한 확장 기능을 제공합니다.

다음 글 예고

다음 2부에서는 카프카 커넥트 3.5 버전부터 추가된 오프셋 관리 기능에 대해 다룰 예정입니다.