Multi Task Learning 기반 챗봇 모델 개발

핵심 내용

• 게임/서비스용 챗봇의 상위·하위 인텐트 계층을 한 모델로 함께 추론하기 위한 MTL 기반 개선 사례
• 기존 앙상블 방식의 유지 보수 부담과 하위 인텐트 성능 한계를 해결하려는 문제의식
• PLE 구조, CurricularFace loss, KcELECTRA 사전학습 모델을 조합해 성능과 관리 효율을 동시에 개선

구조와 흐름

• 입력 문장을 사전학습 모델로 임베딩한 뒤 PLE에 전달해 과제별 출력 생성
• Expert/Gate/Task 레이어로 상위·하위 인텐트의 연관성을 활용한 분류 구조 구성
• 학습 시 과제별 loss를 가중합해 역전파하고, 추론 정확도로 기존 상용 모델과 비교

선택 이유

• 상/하위 인텐트가 계층형 구조라 공동 학습의 이점이 크다는 판단
• PLE로 Negative Transfer와 시소 현상을 줄이고 과제별 표현 분리를 기대
• CurricularFace loss로 분류 표현의 군집성과 분별력을 높이려는 접근

적용해볼 점

• 인텐트처럼 연관된 다중 분류 과제에 MTL을 적용해 모델 수를 줄이고 관리 효율 개선
• 데이터가 적을 때는 도메인에 맞는 사전학습 모델과 결합해 전이학습 활용
• 분류 성능이 부족할 때는 표현 시각화와 margin/mining 계열 loss 조합을 점검