HBase 오픈소스 전환을 위한 HBH(HitBase Handler) 개발기

HBase 오픈소스 전환을 위한 HBH 개발기

이 게시물은 LY Corporation에서 운영 중인 HBase 클러스터를 상용 배포판인 Cloudera의 CDH에서 오픈소스 Apache HBase로 전환하기 위해 개발한 관리 도구인 HBH(HitBase Handler)의 개발 과정을 상세히 설명합니다.

주요 개발 내용

• HBH는 React 기반 프런트엔드와 Django REST 백엔드로 구성되어 있으며, 클러스터 설치 자동화, 프로세스 관리, 작업 자동화 기능을 제공합니다.
• Ansible과 Supervisord를 활용해 설치 및 프로세스 관리를 자동화하고, Jpype를 이용해 Python 환경에서 Java 라이브러리를 호출하는 방식을 도입했습니다.
• Job Generator/Executor를 통해 클러스터 운영 작업의 순서를 자동화하여 서비스 영향도를 최소화하고, 실시간 인스펙터와 Health Checker로 모니터링 기능을 강화했습니다.
• 설정 파일 관리는 HBH 내에서 통합하여 편리성을 높였고, 리전 백업 및 복구 기능으로 데이터 지역성 유지와 성능 최적화를 지원합니다.

향후 계획

• 상용 배포판 수준의 기능 제공을 목표로 테스트 커버리지 확대 및 Hadoop 에코시스템 확장 준비 중이며, 오픈소스 공개도 계획하고 있습니다.