SageMaker AI와 GPT-OSS 120B 모델 추론 성능 테스트

이 게시물은 Amazon SageMaker AI 환경에서 오픈 소스 GPT-OSS 120B 모델을 활용한 LLM 추론 성능 테스트와 GPU 용량 산정 방법을 다룹니다.

LLM 추론 동작 및 최적화 기법

• 프리필과 디코드 두 단계로 이루어지는 LLM 추론 메커니즘 설명
• 키-값 캐시, 연속 배치, 페이지드 어텐션 등 다양한 최적화 기술 소개
• 분산 비분리 프리필링과 하드웨어 가속을 통한 성능 향상

성능 측정과 오픈소스 프레임워크

• 지연 시간 및 처리량 지표(TTFT, ITL, TPS 등) 소개
• vLLM과 SGLang 프레임워크 비교 및 성능 벤치마크 결과
• vLLM의 V1 아키텍처 개발 동향 포함

GPU 메모리 용량 산정과 테스트 수행

• 모델 파라미터, 키-값 캐시, 활성화 메모리 계산법
• ml.g6.48xlarge 및 ml.p4de.24xlarge 인스턴스에서 설치 및 서버 구동 절차
• 다양한 워크로드 기반 벤치마크 테스트 및 결과 분석

결론

실제 서비스 환경에 맞는 LLM 인프라 구축을 위한 인사이트와 지속적인 추론 최적화 기술 발전의 중요성을 강조합니다.