컬리 검색이 카프카를 들여다본 이야기 2
1
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
컬리 검색 시스템과 카프카 스트림즈 적용기
이 게시물은 컬리의 검색 인덱싱 파이프라인에 카프카 스트림즈를 도입한 경험을 공유합니다.검색 시스템 변경과 초기 구현
- 서로 다른 두 토픽의 메시지를 조합해 하나의 메시지로 인덱싱하는 요구사항
- 초기에는 레디스를 중간 저장소로 활용하여 메시지 병합 수행
- 카프카 스트림즈 라이브러리를 발견하고 적용을 시도
스프링 프레임워크와 카프카 스트림즈 연동
- 스프링 이벤트 기능을 활용해 스트림즈 파이프라인 구성
- 스트림즈 스레드가 오류로 종료되는 문제 발생 및 모니터링 필요성 대두
- @EnableKafkaStreams 어노테이션으로 스트림즈 클라이언트 생명주기 관리 및 상태 모니터링 구현
헬스체크와 운영 안정성 확보
- 카프카 스트림즈 상태를 실시간으로 헬스체크하여 다운 상태 감지
- 스프링 카프카를 통해 클라이언트 상태 접근 및 모니터링 가능