컬리 검색 시스템에서 카프카 설정 튜닝 경험

이 게시물은 컬리 검색 인덱싱 파이프라인에서 카프카 설정을 조정하여 메시지 처리 속도와 시스템 안정성을 개선한 경험을 공유합니다.

변경된 검색시스템 요구사항

• 복수 토픽의 상품 정보를 조합하여 인덱싱 필요
• 기존과 다른 복잡한 메시지 처리 설계 도입

발생 문제 및 원인 분석

• 메시지 처리 속도 부족으로 토픽에 메시지 적체
• 컨슈머 그룹 내 리밸런싱 반복 발생
• 레디스 성능 문제 아님, 카프카 설정 문제로 추정

해결책

• max.poll.records 설정을 1로 낮춰 리밸런싱 방지
• Spring Kafka의 Record Listener를 Batch Listener로 변경하여 스루풋 대폭 향상

성과 및 향후 계획

• 배치 처리 도입으로 메시지 처리 및 인덱싱 속도 비약적 개선
• 불필요한 리밸런싱 제거
• 2편에서 시스템 구조 고도화 고민 공유 예정