당근에서 LLM 활용하기

이 게시물은 당근에서 대형 언어 모델(LLM)을 어떻게 활용하고 있는지 소개합니다.

LLM의 강점과 활용 분야

• 자연어 처리: 비정형 텍스트에서 키워드 추출 및 분류
• 질문 응답: RAG 기법을 활용한 사용자 맞춤 답변 서비스
• 창의적 글쓰기: 광고 및 판매글 작성 지원

당근 내 주요 활용 사례

• 중고거래: 비정형 게시글에서 정보 추출 및 맞춤 추천
• 동네생활: 장소명 자동 연결 및 해시태그 추천
• 모임: 나이, 성별, 토픽 기반 모임 추천
• 부동산: 매물 정보 자동입력 및 대표사진 품질 평가

LLM 도입 및 운영 전략

• 실시간 파이프라인 구축으로 빠른 예측과 저장
• 다양한 모델(Gemini, GPT, Claude) 선택과 비용 효율성 고려
• 프롬프트 엔지니어링: 반복 평가, 출력 형식 제어, 단계적 사고, 예시 제공, 작업 분할
• 엔지니어링 관점에서 프롬프트 및 모델 변경 관리, 자동화, 모니터링, A/B 테스트, 확장성 확보 필요