경제적인 LLM 번역 프로세스 구축

이 게시물은 unified와 rehype를 사용하여 AI 번역 프로세스를 효율화하는 방법에 대해 설명합니다.

배경

웹 콘텐츠는 다양한 언어로 제공되어야 하며, 크리에이트립은 이를 위해 14개 언어로 블로그 글을 번역하고 있습니다.

문제 및 해결책

기존의 번역 방식은 리소스를 소모했으며, LLM을 도입하여 번역 프로세스를 개선하였지만 HTML 태그의 누락과 높은 비용 문제가 있었습니다. 이를 해결하기 위해 전처리 단계가 필요했으며, unified와 rehype를 사용하여 HTML을 간소화하는 방법을 선택했습니다.

PoC 구현

저자는 간단한 테스트를 통해 HTML 파싱 및 속성 추출, 복원을 검증하였으며, 이 과정에서 토큰 사용량을 약 40% 절감하는 성과를 달성했습니다.