RAG와 리랭커(Reranker): 검색 모델과 LLM의 상호작용

이 게시물은 RAG(Retrieval-Augmented Generation)와 리랭커의 개념 및 역할, 그리고 LLM을 활용한 최신 리랭킹 기법을 소개합니다.

리랭커의 필요성과 역할

• 벡터 검색으로 추출한 문서들 중 질문과 관련성이 높은 문서를 상단에 배치하여 LLM이 정확한 답변을 생성하도록 지원
• LLM은 문서의 위치에 따라 답변 품질이 달라지므로, 중요한 문서가 중간에 위치하는 문제를 해결

기존 리랭커 방식

• Cross-Encoder는 질의와 문서를 결합해 맥락적 연관성을 직접 평가해 정확하지만 처리 속도가 느림
• Bi-Encoder는 독립 임베딩으로 빠르나 세부 맥락을 놓칠 수 있음
• 보통 두 방식을 결합하여 후보 문서 선별 및 정밀 평가 수행

LLM을 활용한 리랭커

• Pointwise 방식: 문서를 개별 평가하여 Yes/No 확률로 관련성 점수 산출
• Listwise 방식: 여러 문서를 한 번에 평가해 상대적 순위를 직접 결정
• 토큰 제한 문제를 슬라이딩 윈도우로 해결하며, 학습 없이도 뛰어난 성능 발휘

마무리

LLM 기반 리랭커는 간편하고 효과적이나 입력 순서 및 도메인 특화 지식 반영에 한계가 있으며, 관련 연구가 활발히 진행 중입니다.