DBT를 활용해 준실시간으로 클라이언트 Journey 파악하기
DBT를 활용해 준실시간으로 클라이언트 Journey 파악하기
DBT와 CDC, Airflow로 클라이언트 여정을 추적하는 `data_logs` 테이블 구축 사례를 소개했습니다.복잡한 조인과 스캔 비용을 줄이기 위해 증분 모델링과 파티션 최적화를 적용했습니다.
#DBT#Airflow
0005분
필터 1
제조업 데이터를 활용한 BI 대시보드 통합 및 자동화 후기
Airflow와 PySpark로 제조업 기준 정보와 생산 데이터를 통합해 Spotfire 대시보드를 자동화했습니다.\n대용량 처리와 정기 갱신으로 현장 의사결정 속도와 데이터 신뢰성을 높였습니다.
#Airflow#PySpark
69005분
밑바닥부터 시작하는 추천시스템 with Kubeflow
Kubeflow로 추천 시스템의 데이터 수집, 학습, 서빙, 튜닝까지 전체 흐름을 구성한 사례를 소개했습니다. 오프라인 추론 전환과 파이프라인 자동화로 응답 속도와 운영 효율을 개선했습니다.
#Kubeflow#Kafka
63005분
일일 Tech News ＆ Blog (25.05.22)
오픈AI의 AI 기기 개발, SKT 해킹 대응 검토, 통신사 이용자 보호 점검 등 산업·보안 이슈를 묶어 소개했습니다. 또한 LLM 게이트웨이, Airflow 버전관리, Codex 리뷰 같은 기술 기사도 함께 정리했습니다.
#LLM#Airflow
33005분
Apache Airflow DAG Versioning 기능 알아보기
Airflow 3.0의 DAG Versioning 기능과 DAG Bundle 구조를 소개했습니다. GitDagBundle을 통해 과거 버전의 DAG를 안정적으로 실행하는 방법을 설명했습니다.
#Airflow#DAG Versioning
83005분
AWS DataZone에서 OpenLineage 기반의 Airflow 데이터 계보 그리기
AWS DataZone에서 MWAA와 OpenLineage를 연결해 Airflow 데이터 계보를 작성하는 방법을 설명했습니다. CloudWatch 로그, SQL 파싱, DataZone API를 조합해 입력·출력 테이블 계보를 업데이트했습니다.
#AWS#Airflow
61005분
검색 Indexing 파이프라인 개선기
검색 색인 파이프라인의 생산성과 안정성을 높이기 위해 설정 기반 자동화, Offline Storage 활용, 배치 처리 구조를 도입했습니다. 이를 통해 대용량 이벤트와 풀색인 비용 문제를 줄이고 운영 효율을 개선했습니다.
#검색#pipeline
138005분
MWAA-Oracle DB 쿼리 수행 방법
MWAA에서 Oracle 쿼리 수행 시 발생한 `DPY-3015` 오류의 원인과 해결 방법을 정리했습니다. thin 모드 제약을 피하려면 thick 모드 전환과 Oracle Client 설치가 필요했습니다.
#Airflow#Oracle DB
44005분
좋은 개발자로 가는 길목에서 – AB180에서의 성장기 (AB180 인턴 후기)
AB180 인턴십에서 비용 연동 시스템 개선과 E2E 테스트 자동화를 수행했습니다. 대규모 데이터 처리와 협업 문화 속에서 백엔드 실무와 성장 경험을 얻었습니다.
#Airflow#GitHub Actions
48005분
Apache Airflow를 시작하는 가장 쉬운 방법, Astro CLI
Apache Airflow의 설치와 실행이 어렵다는 문제를 Astro CLI로 쉽게 줄이는 방법을 소개했습니다. 단 몇 개의 명령어와 템플릿, 테스트 도구로 로컬 개발 환경을 빠르게 구성할 수 있었습니다.
#Airflow#Astro CLI
112005분
기술블로그를 책으로, “요즘 우아한 AI 개발” 출간!
기술블로그를 책으로, “요즘 우아한 AI 개발” 출간!
우아한형제들 기술블로그를 엮은 두 번째 책 “요즘 우아한 AI 개발”을 소개했습니다. AI·데이터·로봇의 실무 적용 사례와 구성 내용을 함께 담았습니다.
#LLM#RAG
137005분
로그 파이프라인 개선기 - 기존 파이프라인 문제 정의 및 해결 방안 적용
기존 로그 배치 파이프라인의 분류 비효율, 낮은 신선도, 스키마 관리 부재를 정리하고 개선 방향을 설명했습니다. MSK와 Kafka Consumer, Protobuf, Schema Registry를 활용한 준실시간 구조로 전환한 과정을 소개했습니다.
#BigQuery#Kafka
35005분