검색엔진에 의존하지 않는 Reranking API 개발

이 게시물은 SSG.COM의 LTR 2.0 고도화 프로젝트를 통해 검색 랭킹을 개선한 경험을 공유합니다.

LTR 1.0의 문제점

• Elasticsearch 내 XGBoost만 사용 가능해 알고리즘 확장이 어려움
• 복잡한 ES Query와 인덱싱 필요
• 클러스터 부하 및 리소스 관리의 어려움 존재

LTR 2.0 구조 및 개선사항

• 검색과 랭킹 API 분리, 별도의 모델 API 도입
• Airflow로 워크플로우 관리, MongoDB와 Redis를 이용한 피쳐 스토리지 구축
• 네트워크 비용 절감을 위해 HTTP 압축과 gRPC 도입
• 피쳐 캐싱을 2단계로 운영해 DB 부하와 응답 시간 개선
• 캐시 메모리 최적화 및 JVM Heap 문제 해결
• 검색 결과 페이징 경계 문제 해결 및 중복/누락 방지

성과 및 향후 과제

• API 응답 속도는 LTR 1.0 대비 유지하면서 피쳐 수 2배 증가
• 1페이지 CTR 2.44%p 상승의 단기 성과
• 범용 feature store 구축과 서비스별 Reranking 확장 계획