준실시간 지표 서비스 도입 과정

데브시스터즈는 준실시간 지표 서비스를 도입하며 신속하고 정확한 데이터 제공의 필요성을 인식하였습니다. 기존의 데이터 환경은 동시 접속자 수와 같은 지표를 시간별, 일별로 집계했으나 즉각적인 피드백을 요구하는 상황에서는 한계가 있었습니다. 이를 해결하기 위해 새로운 데이터 파이프라인을 구축하였으며, Kafka와 Spark Streaming을 사용하여 클라이언트 로그와 서버 로그를 통합해 집계하는 방식을 도입했습니다.

기술적 요구사항

• 10분 이내의 지연 시간으로 지표 확인
• 서버와 클라이언트 로그의 통합 처리
• 비용 효율적 인프라 설계

이러한 요구사항을 충족하기 위해 다양한 플랫폼을 검토 후, Spark Streaming을 최종 선택하였습니다. 대시보드 부분은 Kibana를 활용하여 실시간으로 지표를 확인할 수 있도록 개선하였습니다.