임베딩 모델로 데이터 의미 압축하기

이 게시물은 텍스트 데이터를 숫자 벡터로 표현하는 다양한 임베딩 기법과 이를 활용한 의미 기반 검색 방법에 대해 설명합니다.

텍스트 표현 기법

• 원핫 인코딩, 백오브워즈, TF-IDF 등 단어 단위 표현 방식
• 워드투벡(word2vec)을 통한 밀집 임베딩과 단어 간 관계 학습

문장 임베딩과 검색

• BERT 기반 교차인코더와 바이인코더 모델을 활용한 문장 의미 비교
• 문장 임베딩 벡터를 통한 의미 검색과 하이브리드 검색 기법 소개
• faiss 라이브러리 및 KNN, ANN 인덱스를 활용한 임베딩 벡터 검색 구현

임베딩의 정의

임베딩은 고차원 데이터를 저차원 벡터 공간으로 변환해 데이터 의미를 효과적으로 압축하는 기술로 설명하고 있습니다.