2
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
이 게시물은 카카오뱅크 LostCow 팀이 '2025 금융 AI Challenge'에서 우수상을 수상한 후기입니다.
핵심 요약
- 모델 선정: Qwen3-30B-A3B 선택, MoE 구조로 24GB 환경에서 대형 모델 지식과 연산 효율성 확보
- 학습 전략: 2단계 CPT(법령 중심 → 가이드라인 중심)과 단계별 LoRA 적용으로 도메인 지식 주입 및 catastrophic forgetting 통제
- 검색·RAG 전략: BM25 기반 검색 채택, MeCab 토크나이징과 청킹·Top-k=10 최적화로 관련 문서 근거 제공
- 엔지니어링 최적화: Auto-Round 4bit 양자화 적용하되 MoE Gate는 16bit 유지, 객관식은 Structured Output으로 출력 제어
- 실험 결과: 단계적 적용으로 총 +6.8%p 성능 향상 확인 및 대회 우수상 수상
