NRTI (Near Real-Time Indexing)

딜리셔스 정보검색파트에서는 Elasticsearch를 이용해 검색서비스를 개발 중입니다. 이를 위해 데이터베이스의 데이터를 검색엔진에 색인하고, 색인된 Document를 안전하게 서비스하는 두 가지 과정이 필요합니다.

색인 과정 역사

기존의 색인 처리 방식의 문제점과 개선 과정을 설명하며, NRTI를 도입한 이유를 다룹니다.

기술 도입

• Apache Kafka를 도입해 메시지 방식으로 이벤트를 처리하고
• Debezium Connector를 사용해 데이터 변경사항을 Topic으로 발행
• ECK를 통해 Kubernetes 환경에서 Elasticsearch를 운영

프로젝트 결과, 전체색인과 증분색인의 처리 속도가 크게 향상되었습니다. 향후 계획으로는 다양한 데이터베이스 지원과 더 나은 협업 환경을 구축하는 것을 목표로 합니다.