제조업 데이터를 활용한 BI 대시보드 통합 및 자동화 후기
Airflow와 PySpark로 제조업 기준 정보와 생산 데이터를 통합해 Spotfire 대시보드를 자동화했습니다.\n대용량 처리와 정기 갱신으로 현장 의사결정 속도와 데이터 신뢰성을 높였습니다.
#Airflow#PySpark
7100
필터 1
밑바닥부터 시작하는 추천시스템 with Kubeflow
Kubeflow로 추천 시스템의 데이터 수집, 학습, 서빙, 튜닝까지 전체 흐름을 구성한 사례를 소개했습니다. 오프라인 추론 전환과 파이프라인 자동화로 응답 속도와 운영 효율을 개선했습니다.
#Kubeflow#Kafka
6700
일일 Tech News ＆ Blog (25.05.22)
오픈AI의 AI 기기 개발, SKT 해킹 대응 검토, 통신사 이용자 보호 점검 등 산업·보안 이슈를 묶어 소개했습니다. 또한 LLM 게이트웨이, Airflow 버전관리, Codex 리뷰 같은 기술 기사도 함께 정리했습니다.
#LLM#Airflow
3500
Apache Airflow DAG Versioning 기능 알아보기
Airflow 3.0의 DAG Versioning 기능과 DAG Bundle 구조를 소개했습니다. GitDagBundle을 통해 과거 버전의 DAG를 안정적으로 실행하는 방법을 설명했습니다.
#Airflow#DAG Versioning
8700
AWS DataZone에서 OpenLineage 기반의 Airflow 데이터 계보 그리기
AWS DataZone에서 MWAA와 OpenLineage를 연결해 Airflow 데이터 계보를 작성하는 방법을 설명했습니다. CloudWatch 로그, SQL 파싱, DataZone API를 조합해 입력·출력 테이블 계보를 업데이트했습니다.
#AWS#Airflow
6200
검색 Indexing 파이프라인 개선기
검색 색인 파이프라인의 생산성과 안정성을 높이기 위해 설정 기반 자동화, Offline Storage 활용, 배치 처리 구조를 도입했습니다. 이를 통해 대용량 이벤트와 풀색인 비용 문제를 줄이고 운영 효율을 개선했습니다.
#검색#pipeline
14300
MWAA-Oracle DB 쿼리 수행 방법
MWAA에서 Oracle 쿼리 수행 시 발생한 `DPY-3015` 오류의 원인과 해결 방법을 정리했습니다. thin 모드 제약을 피하려면 thick 모드 전환과 Oracle Client 설치가 필요했습니다.
#Airflow#Oracle DB
4600
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
좋은 개발자로 가는 길목에서 – AB180에서의 성장기 (AB180 인턴 후기)
AB180 인턴십에서 비용 연동 시스템 개선과 E2E 테스트 자동화를 수행했습니다. 대규모 데이터 처리와 협업 문화 속에서 백엔드 실무와 성장 경험을 얻었습니다.
#Airflow#GitHub Actions
5000
Apache Airflow를 시작하는 가장 쉬운 방법, Astro CLI
Apache Airflow의 설치와 실행이 어렵다는 문제를 Astro CLI로 쉽게 줄이는 방법을 소개했습니다. 단 몇 개의 명령어와 템플릿, 테스트 도구로 로컬 개발 환경을 빠르게 구성할 수 있었습니다.
#Airflow#Astro CLI
11400
기술블로그를 책으로, “요즘 우아한 AI 개발” 출간!
우아한형제들 기술블로그를 엮은 두 번째 책 “요즘 우아한 AI 개발”을 소개했습니다. AI·데이터·로봇의 실무 적용 사례와 구성 내용을 함께 담았습니다.
#LLM#RAG
13800
로그 파이프라인 개선기 - 기존 파이프라인 문제 정의 및 해결 방안 적용
기존 로그 배치 파이프라인의 분류 비효율, 낮은 신선도, 스키마 관리 부재를 정리하고 개선 방향을 설명했습니다. MSK와 Kafka Consumer, Protobuf, Schema Registry를 활용한 준실시간 구조로 전환한 과정을 소개했습니다.
#BigQuery#Kafka
3600
(Airflow #1) 데이터 엔지니어들이 선택하는 Apache Airflow 소개
X
#Airflow
2900
데이터카탈로그 PM이 ‘데이터 디스커버리’라는 가치를 풀어내는 방법
데이터카탈로그를 통해 데이터 디스커버리를 검색, 미리보기, 리니지의 3단계로 풀어낸 사례를 소개했습니다. 데이터 찾기뿐 아니라 이해와 신뢰 확보까지 연결하는 방향을 제시했습니다.
#검색#데이터베이스
5200
사용자에서 데이터 엔지니어로, 쏘카 온보딩 회고
쏘카 데이터 엔지니어링팀 합류 후 온보딩과 프로젝트, 온콜 경험을 회고한 글입니다. 체계적인 문서화와 협업 문화가 실무 적응에 큰 도움이 되었다고 정리했습니다.
#Kubernetes#Airflow
3200