unified + rehype 를 사용하여 경제적인 LLM번역 프로세스 구축하기

문제 상황

• WYSIWYG로 작성된 HTML 블로그 콘텐츠를 그대로 LLM 번역에 넣는 과정에서 태그 누락, 속성값 손실 같은 환각 문제 발생
• HTML 전체를 번역 대상으로 사용해 토큰 사용량과 비용이 커지고 사용량 제한에도 걸리는 문제 발생

원인 분석

• 번역에 불필요한 HTML 정보까지 함께 전달되어 입력이 과도하게 커짐
• HTML 구조를 유지하지 못하면 번역 과정에서 태그와 속성 복원이 어려움

해결 방법

• unified와 rehype로 HTML을 AST로 파싱한 뒤 불필요한 속성을 추출해 최소 정보만 LLM에 전달
• 번역 전후에 커스텀 플러그인으로 속성값을 저장·복원하고, 유니코드 공백 문자도 보정
• 트리 순회 순서를 활용해 구조를 유지한 채 안전하게 HTML을 간소화

성능/운영 포인트

• 전처리 이후 동일 콘텐츠 기준 약 40% 토큰 절감
• 비용 절감과 사용량 제한 완화, LLM 환각 위험 감소에 기여
• 이후 블로그 HTML 속성 수정 같은 내부 요구사항에도 재사용 가능