MoA(Mixture-of-Agents, 에이전트 혼합 기법), LLM 성능을 향상시키기 위한 새로운 기법
여러 LLM의 응답을 계층적으로 결합해 최종 답변 품질을 높이는 MoA 기법을 소개했습니다. 기존 모델을 바꾸지 않고도 성능과 비용 효율성을 동시에 개선할 수 있음을 설명했습니다.
#LLM#prompt
22005분
필터 1
주소정제 서비스 내재화 - 2화 ( 그럴싸한 계획 )
외부업체 호출을 줄이기 위해 행안부 API와 축적 데이터를 활용한 주소정제 1.0을 운영에 올렸습니다. 그러나 행안부 API 지연으로 장애가 발생해 핫픽스로 완화했고, 장기 해법은 아니라고 재평가했습니다.
#API#cache
23005분
Ingress Nginx Controller의 Prometheus Metric 병목 현상: 원인 분석과 해결 (1부)
Ingress Nginx Controller의 Prometheus metric 수집 병목 현상을 다루는 글입니다. 원인 분석과 해결 방향을 정리한 1부입니다.
#Prometheus#Ingress Nginx Controller
24005분
Ingress Nginx Controller의 Prometheus Metric 병목 현상: 원인 분석과 해결 (2부)
Ingress Nginx Controller의 Prometheus 메트릭 병목 현상을 분석한 글입니다. 대용량 트래픽 환경에서의 원인과 해결 방향을 다뤘습니다.
#Prometheus#nginx
20005분
모두를 위한 알림 경험 만들기
알림의 품질을 위해 방치, 오픈율, 피로도를 기준으로 모니터링 체계를 마련했습니다. 기준 미충족 알림은 슬랙과 알림 센터로 전달해 담당자가 바로 조치하도록 했습니다.
#모니터링#이상치 탐지
53005분
이젠 보내줄 때가 되었다. 대규모 트래픽의 C++ 시스템 Java로 전환하기
C++로 운영하던 대규모 트래픽 서버를 Java와 Spring Boot로 전환한 과정을 정리했습니다. 성능 검증, Canary 배포, GC 개선까지 거쳐 안정적으로 이관했습니다.
#Java#Spring Boot
56005분
딜리버리 프로덕트 개발팀의 개발문화 - 로그 & 알람편
운영 로그의 기준을 다시 정리해 실제 장애와 가짜 에러를 구분하는 방법을 다뤘습니다. 알람 노이즈를 줄이고 빠른 인지를 위해 로그 레벨과 임계치를 팀 기준으로 조정했습니다.
#logging#모니터링
69005분
안전한 결제 정보 전송을 위한 DX구축기
AWS Direct Connect와 VPN, VGW를 활용해 카드사 결제 정보를 안전하게 전송하는 네트워크를 구축했습니다. 연결 상태와 트래픽 모니터링 항목까지 정리해 운영 관점의 포인트를 공유했습니다.
#AWS Direct Connect#VPN
25005분
OpenSearch Anomaly Detection으로 실시간 이상 탐지 및 알림 설정 가이드
OpenSearch Anomaly Detection으로 시계열 이상 탐지와 Slack 알림 설정 과정을 정리했습니다.\nDetector, Monitor, 조건 쿼리까지 단계별 예시를 통해 실무 적용 방법을 설명했습니다.
#OpenSearch#Docker Compose
18005분
[DAN 24] LLM의 Re-Ranking Ability 검색에 이식하기 2편 - LLM을 활용한 최신성 반영
[DAN 24] LLM의 Re-Ranking Ability 검색에 이식하기 2편 - LLM을 활용한 최신성 반영
LLM으로 연관성 점수와 랭킹 레이블을 생성해 검색 결과에 최신성을 반영한 RRA-T 개선 사례를 다뤘습니다. 사용자 클릭 로그와 하이퍼파라미터 튜닝을 통해 최신 문서 노출과 검색 품질의 균형을 맞췄습니다.
#LLM#검색
30005분
100여개의 대출 기관 API, 자동으로 운영하기
100여 개 대출 기관 API의 성공률을 메트릭과 알림으로 자동 모니터링하도록 개선했습니다. 그 결과 장애를 더 빠르게 발견하고 대응해 API 성공률을 99%까지 올렸습니다.
#AWS#모니터링
28005분
엘리스 그룹, 나의 AI 선생님의 이야기
엘리스그룹의 설립 배경과 AI 교육·실습 플랫폼, 클라우드, 평가 서비스 등을 소개했습니다. 또한 오프라인 교육 공간과 최근 소식, 채용 정보도 함께 정리했습니다.
#교육 플랫폼#cloud
14005분