레거시 GPU에 날개 달기: 극한의 서빙 최적화 가이드

이 게시물은 NAVER ENGINEERING DAY 2025에서 발표된 BERT 기반 SPLADE 모델의 대규모 실시간 서비스 최적화 방법을 다룹니다.

주요 내용

• 가장 빠른 BertTokenizer 구현체인 FlashTokenizer 개발 배경 및 성능 소개
• 모델 단순화, 추론 최적화(기본 및 고급), 전처리 및 후처리 최적화 기법
• 실시간 서빙에 필요한 모델 추론 최적화 전략

행사 소개

NAVER ENGINEERING DAY는 네이버 사내 개발자들이 기술 경험과 트렌드를 공유하며 성장하는 대표적인 기술 교류 행사입니다.