LLM으로 프롬프트 실전 성능 평가하기 \:\ feat. Prometheus 2 & OpenAI API
프롬프트 품질을 정량 평가하는 방법을 Prometheus 2와 OpenAI API 실습으로 설명했습니다. 각 평가 방식의 장단점과 환각 탐지 한계를 비교하며 자동화된 평가 파이프라인 필요성을 제시했습니다.
#LLM#prompt
23005분
새로운 기술 블로그가 추가되었어요
필터 1
LLM으로 프롬프트 실전 성능 평가하기 \:\ feat. Prometheus 2 & OpenAI API
프롬프트 성능을 정량적으로 평가하는 방법을 Prometheus 2와 OpenAI API 실습으로 소개했습니다. 문맥 평가는 강점이지만 최신 사실 검증은 도구별 한계가 있어 반복 평가가 필요합니다.
#LLM#prompt
58005분
NVIDIA GPU Operator로 GPU 모니터링 PoC 구축하기
AWS GPU 스팟 인스턴스와 EKS로 GPU 모니터링 PoC를 구축하는 과정을 정리했습니다. NVIDIA GPU Operator, Prometheus, Grafana로 GPU 메트릭을 수집하고 시각화했습니다.
#NVIDIA GPU Operator#Kubernetes
51005분
신뢰성 향상을 위한 SLI/SLO 도입 2편 - 플랫폼 적용 사례
OBS 플랫폼에 SLI/SLO를 도입해 공용 미디어 플랫폼의 신뢰성을 측정하고 운영에 활용한 사례를 공유했습니다. 로그 기반 메트릭 수집과 Recording Rules로 대시보드 성능을 개선하고 알람 체계를 구성했습니다.
#SRE#SLI
25005분
Ingress Nginx Controller의 Prometheus Metric 병목 현상: 원인 분석과 해결 (1부)
Ingress Nginx Controller의 Prometheus metric 수집 병목 현상을 다루는 글입니다. 원인 분석과 해결 방향을 정리한 1부입니다.
#Prometheus#Ingress Nginx Controller
24005분
Ingress Nginx Controller의 Prometheus Metric 병목 현상: 원인 분석과 해결 (2부)
Ingress Nginx Controller의 Prometheus 메트릭 병목 현상을 분석한 글입니다. 대용량 트래픽 환경에서의 원인과 해결 방향을 다뤘습니다.
#Prometheus#nginx
20005분
토스증권 Apache Kafka 데이터센터 이중화 구성 #2: 데이터 미러링
토스증권의 Active-Active Kafka 이중화에서 동일한 토픽명 미러링과 무한 루프 방지 방식을 소개했습니다. DLQ, 커스텀 메트릭, 클러스터 분리로 정합성과 운영성을 높인 사례입니다.
#Kafka#Kubernetes
37005분
Prometheus 3.0으로 갈아타기 (feat. prometehus 3.0 업그레이드 가이드)
Prometheus 3.0의 주요 기능 개선과 변경 사항, 마이그레이션 시 주의점을 정리했습니다. 업그레이드 전 쿼리와 설정을 점검할 체크리스트도 함께 제시했습니다.
#Prometheus#OpenTelemetry
19005분
MinIO와 K8S로 구축하는 사내 스토리지 서비스 ‘OS’ 구축
MinIO와 Kubernetes로 사내 오브젝트 스토리지 서비스를 구축한 과정을 정리했습니다. S3 호환성과 확장성을 바탕으로 보안, 비용, 운영 효율을 개선했습니다.
#MinIO#Kubernetes
36005분
테라폼의 풍미를 더해주는 서버 설정 자동화 한 스푼
테라폼의 풍미를 더해주는 서버 설정 자동화 한 스푼
Terraform으로 온프레미스 서버 생성과 운영 자동화를 다룬 글입니다. AWX와 Prometheus 연동을 포함한 인프라 관리 흐름을 소개합니다.
#Terraform#자동화
21005분
쿠버네티스 네이티브 워크플로를 이용한 대용량 스트리밍 파이프라인 검증 자동화 - 2편
Tekton과 PIPE를 활용해 대용량 스트리밍 파이프라인의 성능 테스트를 자동화한 사례를 소개했습니다. 동적 설정과 지표 수집을 결합해 반복 실험과 결과 공유를 빠르게 수행했습니다.
#Tekton#Kubernetes
16005분
Vector를 활용해 멀티 CDN 로그 및 트래픽 관리하기
Vector를 활용해 멀티 CDN 로그와 트래픽 모니터링 체계를 통합한 사례를 다뤘습니다. 로그 정규화, 메트릭 변환, 버퍼링과 모니터링까지 쿠버네티스 기반으로 고도화했습니다.
#Vector#CDN
28005분