Qwen3의 Hybrid Thinking mode

이 게시물은 2025년 4월 Alibaba에서 출시한 Qwen3 모델의 Hybrid Thinking mode에 대해 설명합니다.

모델 구성 및 학습

• MoE 모델 2개와 Dense 모델 6개로 구성
• strong-to-weak distillation 기법 활용 추정

Hybrid Thinking mode 구현 방법

• /think, /no_think 명령어를 통한 reasoning On/Off 제어
• enable_thinking 파라미터로 reasoning 활성화 여부 조절

특징 및 의의

• 명령어 방식은 유저가 직접 제어 가능하지만 reasoning이 완전히 꺼지지 않을 가능성 존재
• enable_thinking은 reasoning 파트를 강제로 비워 reasoning을 확실히 꺼버리는 방법
• 두 방식 모두 간단하면서도 효과적인 reasoning 제어를 구현하여 향후 모델 학습에 참고할 만한 아이디어 제공