이 게시물은 Amazon Bedrock AgentCore 기반으로 에이전틱 AI를 프로덕션에서 운영하기 위한 AgentOps를 관측성, 평가, 최적화 관점에서 설명한 내용입니다. 관측성은 트레이스·메트릭·로그로 에이전트의 추론 궤적과 지능 품질을 수치화하고 실시간으로 확인하도록 설계됨. AgentCore Observability는 ADOT 자동 계측으로 코드 변경 없이 트레이스를 수집하고 CloudWatch 대시보드와 알람, OTEL 연동을 제공함. 평가는 결과뿐 아니라 궤적을 분리해 검증하며 규칙 기반, LLM-as-a-Judge, 골든 데이터셋 방식과 내장/커스텀 평가기를 활용함. 최적화는 관측·평가 결과를 바탕으로 시스템 프롬프트와 도구 설명을 자동 생성하고 A/B 테스트로 개선안을 검증하는 연속 개선 루프를 구성함. AgentOps 라이프사이클은 빌드-거버넌스-관측-평가-최적화-적용의 6단계 순환으로 에이전트를 안전하고 효율적으로 운영하도록 정리됨.