처음부터 ‘딸깍’은 아니다: AI와 함께한 데이터 환경 구축기

이 게시물은 AI(클로드)를 활용해 DARO 분석 환경을 구축하고 자동화한 경험을 공유한 글입니다.

개요

• DARO의 빠른 성장으로 운영 DB 직접 조회로 인한 리스크와 TB 단위 대용량 데이터 처리 필요성 대두
• S3 기반 Data Lake와 Athena, 기존 Airflow·dbt를 결합한 MDW 아키텍처 구성

파이프라인·모델링 자동화

• 클로드의 skill로 source 연결(/add-dbt-daro-source)과 dbt 모델 생성(/add-dbt-daro-model) 반복 작업 자동화
• /add-dbt-daro-source: S3 경로 탐색, 샘플 수집, 스키마 자동 추출, AWS Glue 외부 테이블 생성 및 dbt source 등록 자동화
• /add-dbt-daro-model: 인터랙티브 질의로 모델 유형·materialization·그레인·유니크키 수집 후 SQL·YAML·테스트 자동 생성 및 dbt compile/run/test 실행, DARO OLAP 원칙 적용

문서화 및 거버넌스

• /update-notion-mart-template로 SQL·YAML·manifest에서 메타 추출해 Notion 문서 초안 자동 생성하여 문서화 작업 효율화

성과와 고찰

• AI 협업으로 반복 작업과 문서화 부담 경감, 속도 및 품질 향상 및 실무자 역할과 활용 커스터마이즈 필요성 인식