컬리 검색이 카프카를 들여다본 이야기 2

컬리 검색이 카프카를 들여다본 이야기 2

1
AI 요약

이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.

컬리 검색 시스템과 카프카 스트림즈 적용기

이 게시물은 컬리의 검색 인덱싱 파이프라인에 카프카 스트림즈를 도입한 경험을 공유합니다.

검색 시스템 변경과 초기 구현

  • 서로 다른 두 토픽의 메시지를 조합해 하나의 메시지로 인덱싱하는 요구사항
  • 초기에는 레디스를 중간 저장소로 활용하여 메시지 병합 수행
  • 카프카 스트림즈 라이브러리를 발견하고 적용을 시도

스프링 프레임워크와 카프카 스트림즈 연동

  • 스프링 이벤트 기능을 활용해 스트림즈 파이프라인 구성
  • 스트림즈 스레드가 오류로 종료되는 문제 발생 및 모니터링 필요성 대두
  • @EnableKafkaStreams 어노테이션으로 스트림즈 클라이언트 생명주기 관리 및 상태 모니터링 구현

헬스체크와 운영 안정성 확보

  • 카프카 스트림즈 상태를 실시간으로 헬스체크하여 다운 상태 감지
  • 스프링 카프카를 통해 클라이언트 상태 접근 및 모니터링 가능

결론

카프카 스트림즈를 통해 메시지 병합을 효율적으로 처리하고, 스프링 기반으로 안정적 운영과 모니터링 환경을 구축한 경험을 소개합니다.