화장품 스마트팩토리 솔루션 전문기업 이젬코와 Amazon QuickSuite로 구현한 AI 기반 품질 데이터 분석 플랫폼
이젬코는 AWS Glue, Athena, QuickSight, QuickSuite로 화장품 품질 데이터 분석 플랫폼을 구축했습니다. 운영 DB 부하를 줄이면서 자연어 질의 기반 AI 분석과 시각화 대시보드를 제공했습니다.
#AWS Glue#Amazon Athena
44005분
필터 1
AICX: 수작업의 한계를 넘다. AI 기반 여행 상품 운영 자동화 구축기
AICX: 수작업의 한계를 넘다. AI 기반 여행 상품 운영 자동화 구축기
여행 상품 운영의 수작업 과정을 AI로 자동화한 구축 사례를 소개했습니다. 데이터 통합, 카테고리 매칭, 번역, 적재 최적화와 프롬프트 개선 과정을 다뤘습니다.
#LLM#prompt
71005분
효율적인 데이터 분석을 위한 Trino와 Spark의 하이브리드 사용 방법
Trino는 빠른 실시간 분석과 멀티 소스 조인에 적합하고, Spark는 대규모 배치와 ETL에 유리하다고 설명했습니다. 두 엔진을 역할 분담하는 하이브리드 전략과 Trino의 운영 한계도 함께 정리했습니다.
#Trino#Spark
71005분
Data Lineage를 활용한 Data Ontology 출발
Data Ontology 구축을 위해 Data Lineage로 Mart 데이터의 속성과 관계를 추출하는 방법을 소개했습니다. JsqlParser 기반 Table Level Lineage 파싱으로 WITH, INSERT, JOIN 흐름을 분석했습니다.
#Java#Data Lineage
107005분
AWS Glue ETL을 활용한 CRM 데이터의 효율적인 병렬처리 전략
Step Functions와 Glue ETL로 고객사별 변경 데이터만 병렬 처리하는 아키텍처를 소개했습니다. 이를 통해 비용을 줄이고 준실시간 캠페인 분석 환경을 구축했습니다.
#AWS Glue#ETL
42005분
Datahub(오픈 소스 메타데이터 플랫폼)
분산된 데이터 플랫폼의 메타데이터를 통합 관리하는 DataHub의 개념과 주요 기능을 소개했습니다. 검색, 계보 추적, 거버넌스, 접근 제어 관점에서 활용 포인트를 정리했습니다.
#DataHub#메타데이터
89005분
비정형 데이터! Amazon Bedrock으로 제대로 활용하기
Amazon Bedrock의 비정형 데이터 처리 기능과 활용 사례를 정리했습니다. 멀티모달 처리와 GraphRAG로 RAG 품질을 높이는 방법을 소개했습니다.
#AWS#Amazon Bedrock
36005분
데이터카탈로그 PM이 ‘데이터 디스커버리’라는 가치를 풀어내는 방법
데이터카탈로그를 통해 데이터 디스커버리를 검색, 미리보기, 리니지의 3단계로 풀어낸 사례를 소개했습니다. 데이터 찾기뿐 아니라 이해와 신뢰 확보까지 연결하는 방향을 제시했습니다.
#검색#데이터베이스
46005분
스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)
대용량 감사 로그를 효율적으로 저장·조회하기 위한 OVEN의 설계와 운영 방안을 소개했습니다. S3 연동, 경로 기반 파티셔닝, Bloom Filter로 비용과 조회 성능을 개선했습니다.
#보안#S3
7005분
스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)
대용량 감사 로그를 S3 기반 HotStore/ColdStore 구조로 저장·조회하는 방법을 소개했습니다. Athena 연동과 Bloom Filter로 비용과 조회 성능을 함께 개선했습니다.
#보안#규정 준수
11005분
스케일 넘치는 대용량 감사 로그, 스마트하게 관리하기 (OVEN)
대용량 감사 로그를 HotStore와 ColdStore로 분리해 효율적으로 저장하고 조회하는 구조를 소개했습니다. S3, Athena, Bloom Filter를 활용해 비용과 연동 복잡도를 줄이는 방안을 설명했습니다.
#S3#Athena
25005분
ETL의 미래 기술: 빅데이터 시대 데이터 통합을 이끄는 트렌드와 혁신
ETL의 미래 기술: 빅데이터 시대 데이터 통합을 이끄는 트렌드와 혁신
ETL의 기원부터 현대의 ELT, 클라우드, AI 활용 흐름까지 정리했습니다. 현업 파이프라인을 AWS Glue로 재구성했을 때의 장점도 함께 설명했습니다.
#ETL#ELT
27005분