Amazon OpenSearch 3.3 업그레이드로 미리캔버스의 검색 성능 개선

문제 상황

• 미리캔버스의 대규모 벡터 검색에서 stored fields 비대화와 새벽 배치 후 세그먼트 병합 폭발로 I/O 병목 발생
• OpenSearch 2.19 환경에서 쿼리 최적화와 인스턴스 전환으로 일부 개선했지만 근본 해소는 미완

원인 분석

• 벡터 데이터가 _source에 중복 저장되며 페이지 캐시 스래싱과 IOPS Throttling 유발
• 세그먼트 수 증가와 병합 부담이 검색 지연과 CPU 스파이크를 키움
• 3.0 초기 릴리스보다 3.3의 Lucene 10.3 개선과 derived source가 문제 해소에 더 적합

해결 방법

• 신규 OpenSearch 3.3 클러스터를 구성한 뒤 스냅샷 복원, 재인덱싱, 도메인 스위칭으로 무중단 전환
• derived source 적용으로 벡터를 _source에서 분리하고 stored fields 크기를 축소
• concurrent segment search와 개선된 병합 정책으로 세그먼트 폭증 상황에서도 성능 유지