Chain-of-Draft(CoD) 기법 연구

이 게시물은 대규모 언어 모델(LLM)의 추론 성능을 높이기 위한 Chain-of-Draft(CoD)라는 새로운 프롬프팅 전략을 소개합니다.

CoD와 기존 CoT 기법 비교

• CoT는 상세한 단계별 추론을 제공하지만 토큰 사용량과 지연 시간이 크다
• CoD는 인간의 초안 작성 방식을 모방하여 핵심 정보만 간결하게 표현함으로써 토큰 사용량과 연산 비용을 크게 줄인다
• 실험 결과 CoD는 CoT와 유사하거나 더 높은 정확도를 유지하면서 토큰 사용량을 68~85% 절감하고 응답 지연 시간을 대폭 줄였다

실험 및 결과

• 산술적, 상식적, 기호적 추론 벤치마크에서 CoD의 효율성과 정확도 검증
• GPT-4o와 Claude 3.5 모델을 활용하여 CoD가 실용적 성능 개선을 보임

한계 및 향후 연구

• Zero-shot 설정과 소형 모델에서는 CoD 성능 저하 관찰
• 적응형 병렬 추론 등과 결합한 추가 최적화 가능성 탐색 제안