다나와 검색의 동적 색인 최적화 사례

다나와 검색은 약 10억 개의 상품 데이터를 운영하며, 실시간 데이터 최신화를 위해 동적 색인을 수행합니다. Elasticsearch를 사용하면서 협력사로부터 매 분 단위로 대량의 데이터가 유입되며, 최근 통합 이후 CPU 부하와 메모리 사용량이 급증했습니다. 이로 인해 색인 요청 거절, 데이터 불일치, 검색 API 응답 지연 등의 문제가 발생했습니다.

원인 분석

• 과도한 세그먼트 생성 및 Disk I/O 증가
• 비효율적 버퍼 사용
• 백프레셔 로직 부재
• 코디네이터 노드의 부재

해결 방안

BulkProcessor API를 사용하여 색인 요청을 효율적으로 처리하고, CPU 상태에 따라 색인 속도를 조절하는 로직을 추가했습니다. 이를 통해 시스템의 안정성과 성능이 개선되었습니다.

테스트 결과

개선된 방식은 색인 속도의 안정성을 확보하고, CPU 사용량을 80% 이하로 유지하여 성능 저하 없이 안정성을 개선했습니다.