로플랫의 대용량 데이터 처리

이 게시물은 로플랫에서 월간 4.5TB의 로그 데이터를 처리하는 방법에 대해 설명합니다.

대용량 데이터 처리의 도전

• 사용자가 데이터를 분석할 때, 방대한 양의 데이터에서 원하는 정보를 찾기 어려움
• 설계, 구현, 운영 단계에서 최적화를 고려해야 함

해결 방안

로플랫은 구글 클라우드의 BigQuery를 사용하여 데이터 처리 및 분석을 수행하며, Elasticsearch와 같은 도구를 활용해 검색 성능을 높이고 있습니다.