LLM으로 프롬프트 실전 성능 평가하기 \:\ feat. Prometheus 2 & OpenAI API
프롬프트 품질을 정량 평가하는 방법을 Prometheus 2와 OpenAI API 실습으로 설명했습니다. 각 평가 방식의 장단점과 환각 탐지 한계를 비교하며 자동화된 평가 파이프라인 필요성을 제시했습니다.
#LLM#prompt
21005분
새로운 기술 블로그가 추가되었어요
필터 1
LLM으로 프롬프트 실전 성능 평가하기 \:\ feat. Prometheus 2 & OpenAI API
프롬프트 성능을 정량적으로 평가하는 방법을 Prometheus 2와 OpenAI API 실습으로 소개했습니다. 문맥 평가는 강점이지만 최신 사실 검증은 도구별 한계가 있어 반복 평가가 필요합니다.
#LLM#prompt
58005분
AI 선생님과 제자의 대화: Teacher–Student 구조와 BERTScore, Classifier 활용법
Teacher–Student 구조를 지식 증류와 멀티턴 대화 학습 관점에서 설명했습니다. BERTScore, 코사인 유사도, Classifier로 검증하는 방법도 함께 정리했습니다.
#LLM#Knowledge Distillation
54005분
![[AWS Summit Korea 2025] 생성형 AI의 핵심 트렌드와 비즈니스 혁신](https://tech.cloud.nongshim.co.kr/wp-content/uploads/image-402.png)
[AWS Summit Korea 2025] 생성형 AI의 핵심 트렌드와 비즈니스 혁신
생성형 AI의 2023~2025년 흐름과 AWS의 AI 서비스·인프라 구성을 정리했습니다. 또한 PoC부터 가치 실현까지 단계별 장애물과 대응 전략을 설명했습니다.
#AWS#생성형AI
54005분
AI가 말을 듣지 않는다. 이제 AI Red Teaming이 필요하다.
AI가 답변을 넘어 실제 행동을 수행하는 시대에 접어들며 새로운 보안 위협이 부각되었습니다. 그래서 AI Red Teaming을 통해 프롬프트 인젝션과 명령 거부 같은 위험을 사전에 검증해야 한다고 설명했습니다.
#LLM#prompt
13005분
AI가 말을 듣지 않는다. 이제 AI Red Teaming이 필요하다.
AI가 단순 응답을 넘어 실제 행동을 수행하는 시대의 보안 위험을 설명했습니다. Red Teaming으로 명령 거부 실패와 프롬프트 인젝션을 사전에 점검하는 방법을 제안했습니다.
#LLM#MCP
18005분
AI가 말을 듣지 않는다. 이제 AI Red Teaming이 필요하다.
AI가 단순 답변을 넘어 실제 행동을 수행하면서 새로운 보안 위협이 커지고 있습니다. 이를 검증하기 위해 AI Red Teaming과 최소 권한, 가드레일 같은 방어 전략이 필요하다고 설명합니다.
#LLM#MCP
49005분
AI Agent의 시대, 벤치마크는 어떻게 진화할까: τ-bench
AI 에이전트의 실무 적합성을 τ-bench로 재평가한 글입니다. 기존 벤치마크와 달리 대화, 정책, 멀티스텝 처리, 일관성까지 함께 봐야 한다고 설명했습니다.
#LLM#AI Agent
62005분
여러 에이전트를 활용한 Flowith의 차별화된 AI 서비스
Flowith는 캔버스형 UX에서 여러 에이전트를 병렬로 돌려 답변을 생성하는 AI 서비스입니다. 기존 LLM과 다른 신선한 구조지만, 비용이 늘어날 수 있다는 점은 감안해야 했습니다.
#LLM#UX/UI
69005분
Amazon Bedrock에서 프롬프트 캐싱 효과적으로 사용하기
Amazon Bedrock의 프롬프트 캐싱 동작 방식과 적합한 사용 사례, 구성 방법을 설명했습니다. 또한 usage 메트릭과 CloudWatch로 캐시 효율을 모니터링하는 방법을 안내했습니다.
#Amazon Bedrock#prompt
44005분
AI 활용으로 90% 업무 시간 단축, PM의 혁신적인 도전기
AI 도구와 개발 지식을 결합해 연관 상품 추천 업무를 자동화한 사례를 소개했습니다.\n작업 시간을 90% 가까이 줄이고 추천 품질과 접근성도 높였습니다.
#LLM#Claude
200005분
USB-C처럼 연결되는 AI 인터페이스, MCP Server를 만들어보자
MCP를 AI의 USB-C에 비유하며 LLM과 외부 시스템을 표준 인터페이스로 연결하는 방법을 소개했습니다. Python으로 MCP Server, Claude 연동, Streamlit Host, REST API Wrapper 실습까지 다뤘습니다.
#MCP#Python
104005분