실시간 광고 사용자 ID 매핑
실시간 광고 사용자 ID 매핑 시스템과 그 설계 과정을 다룬 발표 세션을 공개했습니다. gRPC, Spark Structured Streaming, Kafka를 활용한 마이크로서비스 구성과 그래프 기반 매핑 방식을 소개했습니다.
#gRPC#Spark
3200
필터 1
무신사, 2023 Databricks Data+AI 컨퍼런스에 다녀오다
무신사 테크가 Databricks Data+AI Summit 2023 참석 후기를 공유했습니다. 생성형 AI, 데이터 플랫폼, 재해복구 등 실무 인사이트를 정리했습니다.
#Databricks#LLM
3100
점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing
이력성 데이터 증가로 MySQL 부담이 커져 S3와 Athena로 저장·조회 구조를 옮긴 사례를 다뤘습니다. Spark bucketing으로 필요한 데이터만 읽도록 최적화하는 흐름을 소개했습니다.
#MySQL#S3
1200
분석 데이터를 프로덕션에서 쉽게 사용할 수 없을까?
분석 데이터를 프로덕션에서 쉽게 쓰기 위한 데이터서빙 서비스 구축 과정을 소개합니다. 분석 테이블을 API로 제공하기 위해 S3, Airflow, Spark 등을 활용했습니다.
#S3#Airflow
2100
입사 첫날에 36시간 점검 경험하기
쿠키런: 킹덤 출시 직후 발생한 대규모 장애를 신입 입사자의 시점에서 회고한 글입니다. 데이터 이주와 정합성 검증을 통해 서비스를 복구한 과정을 담았습니다.
#AWS#CockroachDB
1600
Spark on Kubernetes로 가자!
EMR, YARN 기반 Spark를 Self-hosted Kubernetes로 전환하는 내용을 소개했습니다. 데이터 분석환경 컴퓨팅을 Kubernetes 중심으로 재구성하는 방향을 다뤘습니다.
#Spark#Kubernetes
1400
쿠키런: 킹덤 데이터베이스 스토리지 레이어 복원기
런칭 직후 Ballast 파일 경로 오류로 CockroachDB 클러스터가 전역 장애를 겪었습니다. SST 파일 복원과 데이터 재구성을 통해 서비스를 다시 열고, 이후 재발 방지 프로세스도 강화했습니다.
#CockroachDB#AWS
3700
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
효율적인 하둡 플랫폼 운영을 위한 “Hive 사용량 통계 레포트” 개발기
Hive 사용량 통계를 수집해 하둡 플랫폼 운영 효율을 높인 개발 사례를 소개했습니다. 크롤링 한계를 로그 분석과 실시간 처리 구조로 개선하고 Iceberg 적재 방식도 조정했습니다.
#Hive#Hadoop
2100