MoA (Mixture-of-Agents) 기법 소개

이 게시물은 여러 대규모 언어 모델(LLM)의 강점을 결합하여 성능을 향상시키는 MoA 기법에 대해 설명합니다.

MoA의 핵심 개념

• 계층적 구조에서 여러 LLM 에이전트가 협력하여 응답을 점진적으로 개선
• 제안자(Proposer)와 집계자(Aggregator) 역할 분담으로 고품질 답변 생성
• 다양한 모델의 협력성과 반복적 개선을 통해 성능 극대화

주요 특징 및 성능

• 기존 LLM 변경 없이 입력 프롬프트와 설정만으로 적용 가능
• AlpacaEval 2.0, MT-Benchmark 등 여러 벤치마크에서 GPT-4o 대비 우수한 성능
• 비용 효율성이 뛰어나 GPT-4 Turbo 대비 더 나은 성능과 낮은 비용 달성

협력성과 다양성의 중요성

• 여러 LLM이 서로의 출력을 참조할 때 응답 품질이 향상됨을 실험적으로 확인
• 모델 다양성은 편향 감소 및 응답의 폭넓은 개선에 기여