
[모집] Hero Tech Course 2025, 글로벌 교육생을 모집합니다
X
새로운 기술 블로그가 추가되었어요

X


Spark에서 파티션이 병렬성, 메모리, 파일 수에 미치는 영향을 설명했습니다.\n입력·출력·셔플 파티션 설정을 조정해 성능을 최적화하는 방법을 소개했습니다.


Spark의 Cache와 Persist 개념과 사용 시 주의점을 설명했습니다. 메모리 부족으로 인한 spill over를 줄이는 대응 방법도 소개했습니다.


Spark의 동작 방식과 Catalyst, Tungsten 최적화 역할을 소개했습니다. 논리 계획과 물리 계획, Predicate Pushdown 같은 핵심 개념을 설명했습니다.
![[BigData] Spark 개요 정리](https://bespin-wordpress-bucket.s3.ap-northeast-2.amazonaws.com/wp-content/uploads/2025/03/image-10.png)

Spark의 개요와 주요 구성요소, 장점을 정리한 글입니다. 대용량 데이터 처리에서 Pandas보다 Spark가 더 적합한 성능 사례도 비교했습니다.


AWS Parameter Store와 CodeBuild 환경변수를 활용해 EKS에서 단일 애플리케이션을 여러 POD로 다중 배포하는 방법을 소개했습니다. 또한 CodeBuild의 EKS 인증 오류를 IAM 권한 추가로 해결한 과정을 다뤘습니다.

Amazon DocumentDB의 문서 압축 기능으로 저장 공간과 I/O 비용을 줄이는 방법을 소개했습니다. 샘플 데이터셋 기준 최대 34% 절감 사례와 적용 시 유의점을 함께 설명했습니다.


EKS에서 단일 애플리케이션을 환경별 변수만 바꿔 여러 POD으로 배포하는 방식을 소개했습니다. Parameter Store와 CodeBuild 설정, ECR 연동과 빌드 명령 변경 내용을 다뤘습니다.


Chrome 확장 프로그램의 활용 사례와 장점을 소개하고, Manifest V3 기반 개발 구조를 설명했습니다. Content Script, Service Worker, Shadow DOM을 활용한 구현 방식도 정리했습니다.


AWS EKS에서 단일 애플리케이션을 환경 변수만 바꿔 다중 배포하는 방법을 소개했습니다. 또한 Parameter Store, CodeBuild, ECR, Dockerfile 설정 예시를 함께 설명했습니다.


AWS EKS에서 단일 애플리케이션을 환경변수만 바꿔 다중 배포하는 방법을 소개했습니다. React 샘플, CodeCommit 연동, Parameter Store와 CodeBuild 설정 흐름을 정리했습니다.

데이터 사일로와 빅데이터 검색 혁신을 다루는 글입니다. 다만 본문이 Cloudflare 오류로 중간에 끊겨 상세 내용은 확인되지 않았습니다.