벡터DB를 걷어내고 유사글 추천 되살리기 — 임베딩 배치 Agent 개발기

문제 상황

• 벡터DB 비용 때문에 유사글 추천 기능이 비어 있던 상태
• 추천 조회 경로는 살아 있었지만 값을 채우는 파이프라인이 사라진 상태

원인 분석

• 1,291건 규모에는 상시 벡터DB가 과한 구조
• 본문 전체보다 요약 기반 임베딩이 추천 품질에 유리한 구조
• Gemini 응답에 요청 인덱스가 없어 개수 검증이 필요한 구조

해결 방법

• MySQL에 임베딩을 저장하고 배치에서 전수 유사도 계산
• 요약과 해시를 활용한 증분 임베딩과 배치 즉시 저장
• Gemini taskType과 하한값 0.85를 기준으로 추천 품질 조정

성능/운영 포인트

• 상시 인프라 없이 MySQL 1개와 배치 작업만으로 운영
• 쿼터 실패와 중간 중단에 대비한 회귀 방어 및 재색인 구조
• 빈 API 키와 의미 충돌 같은 운영 사고를 통해 점검 항목 보강