컬리 검색이 카프카를 들여다본 이야기 1
3
AI 요약

이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.

컬리 검색 시스템에서 카프카 설정 튜닝 경험

이 게시물은 컬리 검색 인덱싱 파이프라인에서 카프카 설정을 조정하여 메시지 처리 속도와 시스템 안정성을 개선한 경험을 공유합니다.

변경된 검색시스템 요구사항

  • 복수 토픽의 상품 정보를 조합하여 인덱싱 필요
  • 기존과 다른 복잡한 메시지 처리 설계 도입

발생 문제 및 원인 분석

  • 메시지 처리 속도 부족으로 토픽에 메시지 적체
  • 컨슈머 그룹 내 리밸런싱 반복 발생
  • 레디스 성능 문제 아님, 카프카 설정 문제로 추정

해결책

  • max.poll.records 설정을 1로 낮춰 리밸런싱 방지
  • Spring Kafka의 Record Listener를 Batch Listener로 변경하여 스루풋 대폭 향상

성과 및 향후 계획

  • 배치 처리 도입으로 메시지 처리 및 인덱싱 속도 비약적 개선
  • 불필요한 리밸런싱 제거
  • 2편에서 시스템 구조 고도화 고민 공유 예정