디자인허브 정산 시스템 리팩토링 여정

이 게시물은 미리디의 디자인허브 정산 시스템이 초기 Spring Batch 기반 구조에서 AWS Glue 성장 단계 아키텍처를 거쳐, 최종적으로 Airflow와 Databricks를 활용한 성숙 단계 아키텍처로 진화한 과정을 상세히 설명합니다.

초창기 아키텍처의 한계

• 과도한 정규화로 인한 비효율적 조인과 성능 저하
• 멱등성 보장 어려움과 운영 데이터베이스 부하 문제

성장 단계 아키텍처

• AWS Glue, Step Functions, S3 등을 활용해 데이터 티어 분리 및 이벤트 기반 모델링 도입
• 멱등성 확보를 위해 Apache Iceberg 버저닝과 Time Travel 기능 적용
• 운영 데이터베이스 안정화와 모니터링 강화

성숙 단계 아키텍처 및 효과

• Airflow를 통한 코드 기반 오케스트레이션 및 Git 연동으로 협업과 CI/CD 체계 구축
• Databricks로 분석과 배치 로직 통합, Data Lineage 및 실행 코드 스냅샷 적용
• 운영 데이터베이스 부하 해소 및 보안 강화
• 전체 파이프라인 가시성, 생산성, 신뢰성 대폭 향상