OpenSearch + EFK 구축 소개

올리브영은 재고 변경 이력을 효과적으로 관리하기 위해 OpenSearch와 EFK(ElasticSearch, Fluentd, Kibana) 스택을 구축하였습니다. 재고 변경은 하루에 천만 건 이상 발생하며, 이에 따른 기록 관리와 추적의 필요성이 대두되었습니다. OpenSearch의 커스터마이징 가능성과 비용 효율성을 통해 로그 데이터의 수명주기를 관리하며, Rest API를 통해 쉽게 접근할 수 있습니다.

EFK 스택의 구성 요소

• ElasticSearch/OpenSearch: 데이터 인덱싱 및 분석
• Fluentd/FluentBit: 데이터 수집 및 전송
• Kibana: 데이터 시각화 대시보드

OpenSearch는 실시간 분석을 지원하며, 전문 검색 엔진으로 기능합니다. FluentBit은 로그 수집을 위한 경량화된 도구로, 메모리 사용량이 적고 효율적입니다. 이를 통해 로그 데이터를 필터링하고 정제하여 OpenSearch로 전송할 수 있습니다.

구축 절차

구축 과정은 OpenSearch 도메인 설정, 로그 라우팅을 위한 앱 컨테이너 수정, FluentBit Docker 이미지 생성 및 테스트 순으로 진행됩니다.