GDPR 비용 절감을 위한 데이터 구조 변경 및 클러스터 최적화

GDPR 비용 절감을 위한 데이터 구조 변경 및 클러스터 최적화
GDPR 비용 절감을 위해 데이터 구조를 변경하고 AWS EMR 클러스터를 최적화한 경험을 다뤘습니다. 비용 발생 구조를 줄이기 위한 대응 사례를 공유했습니다.
#AWS#EMR
0005분
새로운 기술 블로그가 추가되었어요

GDPR 비용 절감을 위해 데이터 구조를 변경하고 AWS EMR 클러스터를 최적화한 경험을 다뤘습니다. 비용 발생 구조를 줄이기 위한 대응 사례를 공유했습니다.


YARN 라벨링으로 Spark의 AM과 Executor를 서로 다른 노드에 배치하는 방법을 소개했습니다. EMR에서 Spot Instance 사용 시 발생하는 장애와 비용 문제를 완화하는 구성도 설명했습니다.


클라우드 사용량을 체계적으로 분석하고 도메인 팀과 협업해 운영 비용을 최적화한 사례를 다루었습니다. 비프로덕션 자동화, 인스턴스 조정, 스토리지 전환으로 큰 폭의 비용 절감 효과를 거두었습니다.