LLM 기반 서비스의 부하테스트

이 게시물은 LLM(Large Language Model) 기반 웹 서비스의 부하테스트 중요성과 주요 Metric에 대해 설명합니다.

LLM 서비스 특징

• 대화형 스트리밍 응답 제공
• TTFT, ITL 등 전통적 웹과 다른 체감 성능 지표 필요

주요 부하테스트 Metric

• Latency: TTFT, 총 대기 시간, 토큰당 생성 시간
• Throughput: 토큰 처리량, 요청 처리량

vLLM 활용 테스트 예제 및 결과

• benchmark_serving.py 스크립트로 부하테스트 가능
• Mean TTFT, Mean ITL, 요청 처리량, 토큰 처리량 등 지표 분석
• 높은 P99 지표는 네트워크 및 시스템 문제 가능성 시사

결론

적절한 Metric 이해와 철저한 부하테스트를 통해 사용자 체감 성능 최적화 및 서비스 안정성을 강화할 수 있습니다.