카프카 커넥트와 오프셋 관리

이 게시물은 카프카 커넥트의 오프셋 관리 기능에 대해 상세히 설명합니다.

싱크 커넥터와 오프셋 개념

• 싱크 커넥터는 컨슈머와 유사하며 데이터를 카프카 토픽에서 싱크 시스템으로 전송
• 오프셋은 컨슈머가 메시지를 읽은 위치를 나타내며, 내부 토픽에 저장됨
• 카프카 커넥트는 구성, 오프셋, 상태 정보를 각각 별도 내부 토픽에 저장

오프셋 관리 REST API

• 카프카 3.5 버전부터 오프셋 조회, 중지, 변경 등의 REST API 지원
• 관리자 및 개발자가 오프셋을 유연하게 조정 가능

실제 사용 예제

• FileStreamSinkConnector를 이용해 토픽 데이터를 파일로 저장
• 오프셋을 변경해 재처리하는 시나리오와 명령어 예시 제공
• 오프셋 변경 후 데이터가 재처리되어 파일에 중복 기록됨을 확인

운영 환경 대비

운영 시 발생 가능한 문제들을 사전에 이해하고 적절히 대응하는 중요성을 강조하며 마무리합니다.