AI
Amazon Bedrock Vision LLM과 Amazon OpenSearch Service를 활용한 농약 제품 이미지 인식 시스템 구축기
두줄요약
농약 제품 사진을 인식해 정보를 찾는 3단계 AI 검색 시스템을 구축했습니다. Vision LLM 오인식을 오타 보정, OpenSearch Fallback, LLM Reranker로 보완했습니다.
문제 상황
- 고령 농업인 대상 농약 제품 검색에서 긴 제품명을 직접 입력하기 어려운 문제
- 흐릿한 사진, 회전된 라벨, 디자인 폰트, 한글·숫자 혼재로 인한 Vision LLM 오인식
- 유사 제품명이 많아 OCR 오류만으로는 정확한 제품 식별이 어려운 상황
구조와 흐름
- 이미지 업로드 후 Vision LLM으로 제품명·등록번호·제조사·성분 추출
- TypoCorrector로 OCR 오타 보정 후 OpenSearch에서 정확 일치부터 부분 일치까지 계층적 후보 검색
- LLM Reranker가 원본 이미지를 다시 보고 최종 순위 결정
성능/운영 포인트
- 압축 JSON, max_tokens 500, temperature 0.0으로 결정론적이고 간결한 출력 유도
- 약 4,000종 제품명과 약 200개 제조사를 메모리 캐싱해 RapidFuzz WRatio로 보정
- Blue-Green 인덱스 교체와 Alias 스위칭으로 검색 중단 없이 데이터 갱신
적용해볼 점
- 이미지 상태 분류와 재촬영 안내를 앞단에 두어 오검색 감소
- 키워드 검색 중심에 오타 보정과 Fallback 검색을 결합해 재현율 확보
- 후보군 압축 후 멀티모달 리랭킹으로 비용과 정확도 균형 조정