네이버 D22024년 9월 25일AI생성형 AI 기반 실시간 검색 결과 재순위화 2편 - LLM 서빙대규모 검색 재순위화를 위해 LLM 서빙 프레임워크와 최적화 방법을 비교하고, TRT-LLM과 Triton 조합을 채택했습니다. 양자화, 배치 조절, OpenTelemetry와 대시보드로 성능과 운영 가시성을 함께 확보했습니다.#LLM#gRPC21005분
