그리디 알고리즘을 이용한 중복 콘텐츠 클러스터링

이 게시물은 버즈빌이 제공하는 콘텐츠 크롤링 서비스와 중복 콘텐츠 처리에 대해 설명합니다.

중복 콘텐츠 문제

• 많은 퍼블리셔들이 유사한 주제로 콘텐츠를 발행
• 중복된 콘텐츠를 구분할 필요성

처리 단계

크롤링한 콘텐츠 중 중복된 콘텐츠를 선택하여 사용자에게 제공하는 과정을 두 가지 단계로 나누어 설명하고 있습니다.