DBT와 Airflow 도입 과정에서 마주한 7가지 문제

이 게시물은 당근 데이터 가치화팀이 DBT와 Airflow를 활용해 사용자 정보를 신뢰성 있게 생산하기 위해 겪은 7가지 문제와 그 해결책을 상세히 설명합니다.

주요 내용

• DBT 프로젝트 구조 설계: Base, Dimension, Fact 계층으로 사용자 데이터 모델링
• 모델 저장 방식: 각 계층별 materialized 타입(view, table, incremental) 차등 적용
• DBT와 Airflow 통합: astronomer-cosmos 활용해 의존성 및 태스크 자동화
• 모델 개발 및 테스트 프로세스 구축: 별도의 테스트 환경과 CI 자동화
• 다른 파이프라인과 의존성 관리: Airflow ExternalTaskSensor 활용
• 국가별 데이터 특성 반영: dbt vars, tags, jinja로 커스텀 로직 적용
• 백필 처리: 특정 날짜 범위 내 데이터만 반자동 백필하는 Airflow dynamic task 활용

향후 계획

DBT 모델 확장성 개선, 데이터 제품 간 연동, 사용자 정보 검색 고도화 등을 목표로 개발 환경과 파이프라인을 지속 고도화하고자 합니다.