ComfyUI 기반 AI 비디오 생성 파이프라인 구축

이 게시물은 보이저엑스의 Vrew 서비스에 도입된 AI 비디오 생성 파이프라인 구축 과정을 다룹니다.

모델 및 아키텍처

• Wan2.1 1.3B 모델 선택, Stable Diffusion과 Transformer 결합한 Diffusion Transformer 구조
• Wan-VAE로 비디오를 저차원 latent space로 압축하고, DiT가 생성 과정 수행
• 패치화 및 attention 최적화, multi-GPU 병렬 추론 기술 적용

추론 최적화 및 서비스 환경

• FSDP, USP 기법으로 GPU 분산 처리
• AWS 인스턴스 실험 및 ComfyUI 워크플로우 활용해 메모리 및 속도 최적화
• Ray Serve 도입해 확장 가능한 추론 서비스 구성, VPC Peering과 ALB로 네트워크 부하 최소화

운영 및 확장성

• AMI 기반 환경 구성 및 ComfyUI-to-Python 변환으로 일관된 배포 환경 유지
• 추후 EKS 적용으로 세밀한 오토스케일링 및 관리 계획