Hadoop 기반 데이터 통합 클러스터

이 게시물은 SK플래닛의 Hadoop 기반 Data Integration Cluster(DIC)에서 실시간 데이터 처리 및 파생 데이터 생성을 위한 Streaming Platform as a Service(SPaaS) 접근 방식을 설명합니다.

주요 기능과 목표

• 데이터 파이프라인 시각화 UI 제공
• Hive Query 재사용 가능
• 리소스 조정 기능
• 다양한 저장소로의 데이터 적재 지원
• 데이터 파이프라인 모니터링 기능

Stream-Processor의 이점

Stream-Processor는 Spark Streaming을 통해 실시간으로 데이터 변환을 수행하며, 기존 Hive Query를 활용할 수 있어 비즈니스 로직 수정의 실수를 줄일 수 있습니다.