이 게시물은 프롬프트 최적화와 성능 평가를 Prometheus 2와 OpenAI API를 활용해 실습 중심으로 설명

핵심

• 프롬프트 평가는 환각 탐지, 정확성, 효율성, 유해성·편향성, 일관성·유창성, 관련성 등의 지표로 정량화

실습 비교

• Prometheus 2: prometheus-7b-v2.0으로 절대 평가 실행, 문맥·문장 구조 평가에 강함, 최신성·다국어 검증에 취약
• OpenAI(gpt-4.1): 웹검색 기반 사실검증과 다국어·도구 연동에 강점, 비용 부담 존재

권장 방향

• 목적 기반 루브릭과 반복 평가로 자동화된 프롬프트 평가 파이프라인 구축 권장