DBT, Airflow를 활용한 데이터 계보 중심 파이프라인 만들기
DBT, Airflow를 활용한 데이터 계보 중심 파이프라인 만들기
DBT와 Airflow로 데이터 계보 중심 파이프라인 Flow.er를 구축한 사례를 소개했습니다. 운영 비용 절감과 조직 확장을 위한 구성 요소와 개선 경험을 공유했습니다.
#DBT#Airflow
79005분
필터 1
Apache Airflow가 기여자 경험을 개선하는 법, Airflow Breeze Manager 에 대해 알아보기
Airflow Breeze Manager는 여러 브랜치를 병렬로 개발할 때 발생하는 포트 충돌과 환경 재구성을 줄이기 위해 소개되었습니다. 각 브랜치에 독립된 Breeze 환경을 자동으로 구성해 빠른 전환과 작업을 돕습니다.
#Python#Docker
45005분
Kafka에서 S3로 실시간 데이터 수집 파이프라인 설계와 구축기
Kafka 소비 결과를 Parquet으로 변환해 S3에 적재하는 실시간 수집 파이프라인을 설계하고 구축했습니다. 또한 Flush, 커밋, 모니터링 체계를 통해 누락 없이 안정적으로 운영하는 방법을 정리했습니다.
#Kafka#S3
121005분
5대 금융사를 품은 버즈베네핏의 백엔드 팀은 무슨 일을 할까요?
버즈베네핏 백엔드 팀이 데이터 중심 설계와 확장 가능한 파이프라인, 모니터링 체계를 어떻게 구축했는지 소개했습니다. Feature Flag와 실험 지원으로 제품 검증 속도를 높인 사례도 함께 다뤘습니다.
#Golang#Python
91005분
Airflow를 Docker에서 Kubernetes로 옮기며 배운 것들
Docker 기반 Airflow의 운영 한계를 정리하고 Kubernetes/EKS로 이전한 과정을 공유했습니다. MultiExecutor, Git-Sync, Remote Logging, ArgoCD로 운영 자동화와 격리를 강화했습니다.
#Airflow#Docker
35005분
Apache Airflow Task SDK에 대해 알아보기
Airflow Task SDK는 Dag와 내부 시스템을 분리해 업그레이드 호환성과 안정성을 높이는 방향을 소개했습니다. 또한 Supervisor와 Task Runner 구조로 보안과 확장성까지 강화하는 변화를 설명했습니다.
#Airflow#Python
82005분
Amazon MWAA의 최소 권한 구성을 위한 모범 사례
Amazon MWAA 환경에서 최소 권한 원칙을 적용하는 보안 구성을 정리했습니다. 보안 그룹, NACL, VPC 엔드포인트, IAM 정책을 세분화해 네트워크와 서비스 접근을 제한했습니다.
#AWS#Amazon MWAA
37005분
Airflow 와 Databricks 로 완성한 디자인허브 정산 시스템 리팩토링 여정
Airflow와 Databricks로 디자인허브 정산 파이프라인을 리팩토링한 과정을 정리했습니다. 운영 DB 부하를 줄이고 멱등성, 가시성, 협업 체계를 함께 개선했습니다.
#Airflow#Databricks
21005분
Amazon Bedrock을 활용한 LG전자 소셜미디어 제품 트렌드 모니터링 시스템 구축 사례
LG전자가 Amazon Bedrock으로 소셜미디어 제품 트렌드 모니터링 시스템을 구축한 사례를 다뤘습니다. DeepEval 기반 평가와 모델 비교를 통해 정확도, 속도, 비용을 함께 검증했습니다.
#Amazon Bedrock#Claude
76005분
EMNLP24 늦은 후기 2탄: CC 데이터로 LLM 사전학습 데이터셋을 만들어본 경험 및 NVIDIA 논문 리뷰
웹 크롤링 데이터로 LLM 사전학습 데이터셋을 만든 경험과 어려움을 정리했습니다. NVIDIA EMNLP 2024 논문을 통해 품질 필터링과 중복 제거 전략을 체계적으로 살펴봤습니다.
#LLM#PySpark
49005분
Apache Airflow에 한국어로 기여해보자!
Apache Airflow 3.0의 i18n 기능과 한국어 번역 기여 방법을 소개했습니다. Breeze로 로컬 테스트하고 PR 승인 절차를 따라 번역 품질을 유지하는 흐름을 정리했습니다.
#Airflow#React
110005분
당근 데이터 디스커버리 구축기: DataHub와 DataWiki로 여는 데이터 탐색의 첫걸음
DataHub로 메타데이터의 수집과 신선도 관리를 먼저 정비했습니다. 이후 DataWiki와 SSOT를 더해 도메인 맥락까지 담는 데이터 탐색 환경을 구축했습니다.
#DataHub#Airflow
231005분