2
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
카프카 커넥트와 오프셋 관리
이 게시물은 카프카 커넥트의 오프셋 관리 기능에 대해 상세히 설명합니다.싱크 커넥터와 오프셋 개념
- 싱크 커넥터는 컨슈머와 유사하며 데이터를 카프카 토픽에서 싱크 시스템으로 전송
- 오프셋은 컨슈머가 메시지를 읽은 위치를 나타내며, 내부 토픽에 저장됨
- 카프카 커넥트는 구성, 오프셋, 상태 정보를 각각 별도 내부 토픽에 저장
오프셋 관리 REST API
- 카프카 3.5 버전부터 오프셋 조회, 중지, 변경 등의 REST API 지원
- 관리자 및 개발자가 오프셋을 유연하게 조정 가능
실제 사용 예제
- FileStreamSinkConnector를 이용해 토픽 데이터를 파일로 저장
- 오프셋을 변경해 재처리하는 시나리오와 명령어 예시 제공
- 오프셋 변경 후 데이터가 재처리되어 파일에 중복 기록됨을 확인