
3
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
컬리 검색 시스템에서 카프카 설정 튜닝 경험
이 게시물은 컬리 검색 인덱싱 파이프라인에서 카프카 설정을 조정하여 메시지 처리 속도와 시스템 안정성을 개선한 경험을 공유합니다.변경된 검색시스템 요구사항
- 복수 토픽의 상품 정보를 조합하여 인덱싱 필요
- 기존과 다른 복잡한 메시지 처리 설계 도입
발생 문제 및 원인 분석
- 메시지 처리 속도 부족으로 토픽에 메시지 적체
- 컨슈머 그룹 내 리밸런싱 반복 발생
- 레디스 성능 문제 아님, 카프카 설정 문제로 추정
해결책
- max.poll.records 설정을 1로 낮춰 리밸런싱 방지
- Spring Kafka의 Record Listener를 Batch Listener로 변경하여 스루풋 대폭 향상
성과 및 향후 계획
- 배치 처리 도입으로 메시지 처리 및 인덱싱 속도 비약적 개선
- 불필요한 리밸런싱 제거
- 2편에서 시스템 구조 고도화 고민 공유 예정