당근 200+개 DB 를 옮기는 ELT 플랫폼, DT Platform 을 만든 이야기

문제 상황

• 200개 이상 DB를 한국·일본·캐나다 리전과 alpha/prod 환경별로 BigQuery에 전송하는 복잡한 ELT 운영 구조
• 파이프라인 정의와 실행 코드의 강결합으로 인한 PR 중심 변경, 상태 파악 어려움, 리뷰 병목
• 서비스 팀의 높은 학습 부담과 데이터 가치화 팀의 반복적인 수동 리뷰 부담

원인 분석

• 단일 레포지토리에서 설정과 실행 코드가 함께 관리되는 구조
• 테이블별 적재 방식, 주기, CDC, 파티션 등 환경별 변수가 많아 수동 확인 필요
• 대규모 테이블 Sync와 세밀한 튜닝을 오픈소스 ELT 도구로 감당하기 어려운 제약

해결 방법

• Airflow + Spark 실행 레이어는 유지하고, UI 기반 선언형 DT Platform을 별도 구축
• 파이프라인 정의를 JSON DSL로 분리하고 S3를 통해 Airflow와 연결해 책임 분리
• Claude Code 기반 마이그레이션 에이전트와 Notion 작업 레지스트리로 203개 파이프라인을 자동 이관