이 게시물은 Amazon Bedrock Vision LLM과 Amazon OpenSearch Service를 활용해 농약 제품 사진 1장으로 제품 정보를 자동 검색하는 시스템을 구축한 과정 공유입니다.

3단계 파이프라인으로 OCR 오류를 복구

Vision LLM이 라벨에서 제품명/등록번호/제조사/성분을 추출하고 TypoCorrector로 오타 보정하며, OpenSearch Service의 계층적 Fallback 검색으로 후보군을 확보 후 LLM Reranker가 원본 이미지를 재확인해 최종 순위를 결정합니다.

도메인 지식 기반 프롬프트와 상태 분류

‘제품명=가장 큰 텍스트’ 같은 시각적 단서를 프롬프트에 포함하고, CLEAR/ROTATED/MULTIPLE/NOT_FOUND 상태로 이미지 상태를 진단해 필요 시 재촬영을 안내합니다.

키워드 검색 중심과 유사도 보정 전략

약 4,000종 규모에서 제품명·등록번호는 문자열 유사도가 중요하다고 보고 BM25 및 Wildcard fallback을 기본으로 하며, RapidFuzz(WRatio)로 OCR 오타를 교정해 검색 쿼리 실패를 줄입니다.

후보군 최적화로 비용·지연 최소화

OpenSearch 결과 중 exact match가 있으면 소수 후보만 추려 Reranker에 전달하는 Candidate Filtering과, 제형·용량 등 미세 차이를 구분하기 위한 Precision Reranking을 적용합니다.

운영 자동화를 위한 통합 콘솔 구축

Next.js 15 기반 ‘Mega Dev Console’에서 텍스트-투-쿼리 생성, 메타데이터 자동 생성, 자연어 기반 스케줄링, OCR 실험실 배치로 운영 효율을 강화합니다.

핵심 교훈

Vision LLM만으로는 한계가 있으므로 TypoCorrector–Fallback 검색–Reranker의 다중 보완 구조로 시스템 전체의 정확도·사용성을 최적화합니다.