NRTI (Near Real-Time Indexing)
2
AI 요약

이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.

NRTI (Near Real-Time Indexing)


딜리셔스 정보검색파트에서는 Elasticsearch를 이용해 검색서비스를 개발 중입니다. 이를 위해 데이터베이스의 데이터를 검색엔진에 색인하고, 색인된 Document를 안전하게 서비스하는 두 가지 과정이 필요합니다.

색인 과정 역사


기존의 색인 처리 방식의 문제점과 개선 과정을 설명하며, NRTI를 도입한 이유를 다룹니다.

기술 도입

  • Apache Kafka를 도입해 메시지 방식으로 이벤트를 처리하고
  • Debezium Connector를 사용해 데이터 변경사항을 Topic으로 발행
  • ECK를 통해 Kubernetes 환경에서 Elasticsearch를 운영
프로젝트 결과, 전체색인과 증분색인의 처리 속도가 크게 향상되었습니다. 향후 계획으로는 다양한 데이터베이스 지원과 더 나은 협업 환경을 구축하는 것을 목표로 합니다.

연관 게시글