실시간 OLAP을 위한 Apache Pinot 운영 노하우

이 게시물은 Apache Pinot를 도입하고 운영하며 얻은 실전 경험과 노하우를 공유합니다.

핵심 내용

• Pinot 클러스터 안정성 확보를 위한 딥스토어 연동, 장애 예방 설정, 보안 강화
• DR 아키텍처 구축으로 데이터 센터 장애 대비 및 자동 장애 감지·전환
• 실시간 Upsert 테이블 운영 전략: PK 관리, 세그먼트 컴팩션, 모니터링
• 운영 중 발견한 언더 리플리카, 리플리카 서버 다운, Kafka 컨슈밍 문제 및 Trino gRPC 쿼리 주의사항

추가 설명

Pinot는 대용량 실시간 데이터 분석에 최적화된 분산형 OLAP 저장소로, Kafka 등 실시간 스트리밍과 배치 데이터를 모두 지원합니다. 클러스터 구성과 장애 대응, 보안 정책, DR 설계 등 운영 전반에 걸친 구체적 설정과 경험담을 상세히 소개합니다.