Amazon SageMaker로 LLM 응답 Streaming 서빙하기

이 게시물은 Amazon SageMaker를 활용하여 대형 언어 모델(LLM)의 응답을 토큰 단위로 스트리밍하는 방법에 대해 설명합니다.

주요 구성 요소

• SageMaker Endpoint를 통한 모델 배포
• Node.js 기반 Lambda Function URL로 응답 스트리밍 처리
• CloudFront와 Lambda Function URL 연동하여 sigV4 인증 우회

핵심 기술과 구현 절차

• API Gateway는 응답 스트리밍을 지원하지 않아 Lambda Function URL 사용
• Hugging Face LLM Deep Learning Container를 활용한 모델 배포
• Lambda에서 SageMaker Endpoint를 호출하고 PassThrough 스트림으로 응답 전달
• CloudFront Origin Access Control(OAC) 설정으로 인증 우회 및 호출

테스트 및 결과

• Streaming 옵션을 포함한 페이로드로 curl 명령어 테스트
• 응답을 토큰 단위로 실시간 받아 처리 가능

마무리

현재 스트리밍 기능에 제약이 있으나, Serverless 환경에서 빠르고 효율적으로 LLM을 서빙할 수 있는 유용한 접근법임을 확인하였습니다.