호텔 검색의 지식 증류 적용

이 게시물은 호텔 검색 서비스에서 대형 언어 모델(LLM)의 성능을 유지하면서도 경량화한 sLLM(small large language model)을 활용하기 위한 지식 증류(Knowledge Distillation) 기법에 대해 설명합니다.

주요 기술적 접근

• Teacher와 Student 모델을 task별로 최적 선정
• 정확한 학습 데이터 확보를 위한 프롬프트 엔지니어링
• 단계별 지식 증류 방식 고도화: 초기 SeqKLD, 블랙박스 증류와 근거 학습 적용
• Label과 Rationale 정보를 구분하여 학습하는 Distilling Step-by-Step 방식
• MoE with LoRA 적용으로 다중 작업 학습 가능성 확인

성과 및 향후 방향

이 기술을 통해 실시간 검색 품질을 유지하며 서버 부담을 줄인 효율적 서비스 운영이 가능해졌고, 앞으로도 지속적인 연구로 모델과 서비스 품질 향상을 목표로 하고 있습니다.