
4
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
데이터 엔지니어링 정의
데이터 엔지니어링은 데이터를 유용한 상태로 제공하는 업무로, 데이터 활용 능력이 요구됩니다.
올리브영 데이터 엔지니어링
- 기존 IDC 기반: 전통적 ETL 시스템으로 원본 DB에서 DW로 데이터 적재 후 BI를 구성함.
- 클라우드 기반: GCP를 도입하여 Airflow, Spark를 활용한 데이터 작업과 빅쿼리를 통한 데이터 분석 환경을 제공함.
- 서비스 확장성을 통해 ETL 외 로그 수집 기능도 포함됨.
현재 올리브영은 MSA 아키텍처를 통해 데이터 서비스 플랫폼으로의 확장을 진행 중이며, 데이터 기반의 서비스 제공 방식에 대해 고민하고 있습니다.