에이전트 옵저버빌리티 - AI 에이전트의 '조용한 실패'를 잡는 법
AI 에이전트의 조용한 실패를 잡기 위한 에이전트 옵저버빌리티 개념과 APM·LLM 옵저버빌리티와의 차이를 정리했습니다. Langfuse와 Gemini로 PR 리뷰 에이전트를 추적·평가하는 실습과 운영 시 유의사항도 다뤘습니다.
#LLM#모니터링
43005분
필터 1
복잡한 LLM 연동, GenAI SDK 하나로 끝내기
여러 LLM 제공사와 키 관리를 하나의 SDK로 묶어 호출 복잡성을 줄인 사례를 소개했습니다. LiteLLM과 Langfuse를 활용해 추적, 프롬프트 관리, fallback까지 통합한 점이 핵심입니다.
#LLM#Langfuse
49005분
LLMOps로 확장하는 AI플랫폼 2.0
AI플랫폼 2.0에서 LLMOps를 지원하기 위한 운영 과제와 대응 방안을 정리했습니다. Studio, SDK, API Gateway, Labs를 중심으로 프롬프트 관리와 관측성, 보안을 강화했습니다.
#LLM#MLOps
30005분
엔터프라이즈 AI 에이전트 성능 평가 가이드 \:\ 인포그랩 NEXA의 LLM-as-a-Judge 실전 적용 사례
엔터프라이즈 AI 에이전트는 전통적인 LLM 평가만으로는 충분히 측정하기 어려웠습니다. NEXA는 LLM-as-a-Judge로 도구 정확성과 효율성을 평가하는 방식을 적용했습니다.
#LLM#RAG
21005분
엔터프라이즈 AI 에이전트 성능 평가 가이드 \:\ 인포그랩 NEXA의 LLM-as-a-Judge 실전 적용 사례
엔터프라이즈 AI 에이전트는 전통적 LLM 평가만으로는 성능 측정이 어려워 전용 평가가 필요했습니다. NEXA는 Langfuse의 LLM-as-a-Judge로 도구 정확성과 효율성을 함께 평가했습니다.
#LLM#RAG
61005분