데이터 엔지니어링 정의

데이터 엔지니어링은 데이터를 유용한 상태로 제공하는 업무로, 데이터 활용 능력이 요구됩니다.

올리브영 데이터 엔지니어링

• 기존 IDC 기반: 전통적 ETL 시스템으로 원본 DB에서 DW로 데이터 적재 후 BI를 구성함.
• 클라우드 기반: GCP를 도입하여 Airflow, Spark를 활용한 데이터 작업과 빅쿼리를 통한 데이터 분석 환경을 제공함.
• 서비스 확장성을 통해 ETL 외 로그 수집 기능도 포함됨.

현재 올리브영은 MSA 아키텍처를 통해 데이터 서비스 플랫폼으로의 확장을 진행 중이며, 데이터 기반의 서비스 제공 방식에 대해 고민하고 있습니다.