랭킹 시스템 개편 소개

올리브영의 온라인몰에서는 판매랭킹 시스템을 개편하고 있습니다. 현재 19개의 카테고리별 랭킹을 제공하고 있으나, 유입량과 전환률을 고려하여 더 세분화된 랭킹 시스템을 도입할 계획입니다. 기존의 클래식 아키텍쳐에서는 Oracle 프로시저를 사용하여 랭킹을 산출하였고, 이는 비효율적인 데이터 집계 문제를 초래했습니다. 새로운 아키텍쳐는 랭킹 집계를 위한 별도의 파이프라인을 구성하여 자원의 커플링을 최소화하고, AWS Glue를 활용한 ETL 프로세스를 통해 데이터를 처리합니다.

AWS Glue 사용법

• Glue Database 및 Table 생성
• Crawler 설정을 통한 데이터 스키마 스캔
• ETL Job을 위한 Python Script 활용

또한, AWS Athena를 통해 S3의 Parquet 파일에서 랭킹을 산출하고, Step Function을 이용하여 Glue와 Athena의 파이프라인을 구성하였습니다. 이로써 고객에게 보다 나은 경험을 제공할 수 있는 시스템을 구축할 예정입니다.