처음부터 ‘딸깍’은 아니다: AI와 함께한 데이터 환경 구축기
AI
처음부터 ‘딸깍’은 아니다: AI와 함께한 데이터 환경 구축기
두줄요약
운영 DB 중심 분석의 한계를 넘기 위해 S3, Athena, Airflow, dbt 기반 데이터 환경을 구축했습니다.\nAI skill로 소스 연결, 모델링, 문서화를 자동화하며 실무 생산성을 높였습니다.
문제 상황
- 빠르게 성장하는 DARO 서비스에서 운영 DB 쿼리 중심 분석의 한계 누적
- 운영 DB 리스크, 유연한 파이프라인 부재, 느린 쿼리 응답, 데이터 마트 구성 어려움
- 일별 TB 단위 데이터와 다수 소스·고객사 증가로 분석 환경 구축 필요성 대두
구조와 흐름
- S3 기반 Data Lake 위에 Athena를 얹는 MDW 구조
- Kafka, 3rd party Report API 등 다양한 소스 수집 후 Airflow와 dbt로 오케스트레이션
- 소스 연결, 모델링, 문서화로 이어지는 작업 흐름을 AI skill로 자동화
해결 방법
/add-dbt-daro-source로 S3→Athena 외부 테이블 등록, 스키마 추출, 파티션 설정, 검증 자동화/add-dbt-daro-model로 staging·mart·dimension 모델 생성, SQL/YAML 문서화, compile·run·test 검증- Notion MCP 기반
/update-notion-mart-template로 마트 설계 문서 초안 자동 생성 및 업데이트
주의할 점
- 샘플 JSON 누락 컬럼, 자동 테이블명 생성, dev·prod 동시 연결 등 예외 조건 조정 필요
- 비즈니스 로직과 문서 정합성 검증, 기존 쿼리 스타일과의 일관성 유지 필요
- AI 단독 결정보다 사용자와의 인터랙션으로 스펙을 확정하는 방식 선호