멀티모달 LLM 기반 Computer Use Agent(CUA) 소개

이 게시물은 멀티모달 대형 언어 모델(MLLM)을 활용한 Computer Use Agent(CUA)의 개념과 최신 연구 동향을 설명합니다.

MLLM의 발전과 주요 모델

• MLLM은 텍스트뿐 아니라 이미지, 비디오, 오디오를 이해하여 풍부한 응답을 생성
• ViT, CLIP, BLIP, BLIP-2, SigLIP 등 다양한 MLLM 모델이 발전

AI Agent 및 CUA 개념

• AI Agent는 자연어 명령을 이해하고 도구 사용, 계획, 실행, 기억 기능을 갖춤
• CUA는 MLLM 기반으로 브라우저와 웹 UI를 직접 조작하며 사용자 작업을 자동화

주요 연구 사례

• WebShop, LiteWebAgent, AgentQ 등 CUA 성능 향상에 초점
• AgentQ는 MCTS, self-critique, DPO 기법으로 GPT-4 및 인간을 능가하는 성능 달성