AWS DataZone에서 OpenLineage 기반 Airflow 데이터 계보 그리기

이 게시물은 Amazon DataZone의 데이터 계보 기능과 OpenLineage 표준을 활용하여 Airflow 데이터 파이프라인의 데이터 계보를 구성하는 방법을 설명합니다.

배경 및 필요성

• Airflow는 데이터 파이프라인 구축에 널리 사용되며, 데이터 계보는 데이터 출처 추적과 문제 원인 분석에 필수적입니다.
• 데이터 계보는 규제 준수, 감사 요구사항 충족, 데이터 거버넌스 강화에 도움을 줍니다.

솔루션 개요 및 아키텍처

• Production 계정에서는 데이터 저장, 메타데이터 생성 및 Airflow 작업이 수행되고, Governance 계정에서는 데이터 계보 작성과 접근 제어가 이루어집니다.
• AWS Lambda, Step Functions, CloudWatch Logs, AssumeRole 등을 활용해 로그를 수집하고 OpenLineage 이벤트로 변환하여 DataZone에 업데이트합니다.

구성 및 구현 단계

• MWAA에서 OpenLineage 플러그인 구성 및 CloudWatch 로그 저장
• AssumeRole을 통해 로그 공유 및 쿼리
• 프로시저 정의 요청 및 OpenLineage SQL Parser로 Input/Output 테이블 분석
• OpenLineage 이벤트 패킷 생성 및 DataZone API로 데이터 계보 업데이트

결론

Airflow 데이터 계보를 통해 데이터 파이프라인의 신뢰성과 운영 효율성을 높이고, 데이터 품질 문제 해결 및 규제 준수를 지원하며 조직의 데이터 거버넌스를 강화할 수 있습니다.