형태소 분석기의 한계

이 게시물은 요기요 검색에서 형태소 분석기의 한계와 이를 극복하기 위한 방법에 대해 설명합니다.

형태소 분석기의 문제점

• 형태소 분석기는 문법에 특화되어 있어 고유명사 분석에 한계가 있음
• 서로소 분할로 인해 음절 공유를 처리하지 못함
• 사전에 없는 형태소가 있을 경우 적절한 분석이 불가능함

N-gram 도입

검색 최적화를 위해 N-gram을 도입하여 형태소 분석기의 한계를 보완하고, 검색 미노출 문제를 100% 감소시켰습니다.