점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing
2
AI 요약

이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.

Overview

점점 커지는 이력성 데이터를 MySQL에서 S3로 이전하여 저장 비용을 절감하고, 필요한 데이터만 효율적으로 조회하기 위한 방법을 설명합니다.

데이터 이전 및 최적화

MySQL에서 S3로 이관하는 과정에서 데이터의 구조를 고려하여 bucketing을 적용해 쿼리 성능을 최적화합니다.

주요 단계

  • MySQL에서 S3로 데이터 전송
  • Athena를 통해 S3 데이터 쿼리
  • Spark를 이용한 bucketing 최적화