AWS DataZone에서 OpenLineage 기반의 View 테이블 데이터 계보 그리기

이 게시물은 AWS DataZone의 데이터 계보 기능을 활용하여 관계형 데이터베이스에서 View 테이블에 대한 데이터 계보를 그리는 방법을 설명합니다.

View 테이블의 중요성

• View 테이블은 실제 데이터를 저장하지 않고 기본 테이블의 데이터를 기반으로 생성됩니다.
• 데이터 계보를 통해 데이터의 출처와 변환 과정을 명확히 이해할 수 있습니다.
• View 테이블의 변경 사항은 기본 테이블의 변경에 민감하며, 이를 통해 오류를 예방할 수 있습니다.

솔루션 개요

본 포스팅에서는 AWS Lambda를 사용하여 OpenLineage 표준에 맞게 View 테이블의 데이터 계보를 업데이트하는 방법을 설명합니다. 데이터 계보는 데이터 신뢰성 및 시스템 안정성을 유지하는 데 필수적입니다.