효율적인 하둡 플랫폼 운영을 위한 Hive 사용량 통계 레포트 개발기

이 게시물은 하둡 에코시스템 내에서 Hive 사용량 통계를 수집하고 분석하여 효율적인 데이터 플랫폼 운영을 지원하는 방법을 설명합니다.

주요 내용

• Cloudera Navigator 기반 웹 크롤링을 통한 초기 Hive 사용량 데이터 수집
• Hortonworks DataPlatform 전환 후 Hive 로그 파일 분석 및 Spark 기반 병렬 처리 도입
• 실시간 로그 수집을 위한 Filebeat, Logstash, Kafka 활용과 Spark Streaming 적용
• Apache Iceberg 도입과 Hidden Partitioning을 통한 데이터 조회 효율성 및 네임노드 메모리 최적화
• Tableau를 활용한 시각화 및 정기 리포트 작성으로 운영 현황 공유

개발 후기 및 교훈

• 웹 크롤링 방식의 한계와 REST API 활용 필요성 인지
• Spark와 분산 처리 기술 학습 및 적용 경험
• 초기 설계 단계에서 경험 많은 데이터 엔지니어와 충분한 협의의 중요성