Data Lineage를 활용한 Data Ontology 구축

이 게시물은 데이터 온톨로지와 데이터 계보(Data Lineage)를 활용하여 Mart 데이터의 속성을 정의하고 추적하는 방법을 소개합니다.

주요 개념

• 데이터 온톨로지: 도메인 내 개체, 클래스, 속성, 관계 및 공리를 형식적으로 정의하는 지식 표현 구조
• 데이터 계보: 데이터 생성부터 소비까지의 흐름과 변화를 추적하는 체계

기술 및 방법론

• JsqlParser 등의 도구로 SQL 쿼리를 AST로 파싱하여 Table Level Lineage 추출
• WITH문, INSERT문, JOIN문 등을 분석해 소스 및 타겟 테이블 관계 도출
• Spark SQL 쿼리 예시와 Java 21 기반 파싱 로직 구현

활용 및 기대 효과

• ETL 최적화, 업무 속도 개선, 마케팅 및 AI 사업에의 응용 가능성
• 복잡한 쿼리와 대규모 데이터 환경에서 정확한 Lineage 확보 중요성 강조