PostgreSQL to ES: (2) Kafka Connect 트러블슈팅
PostgreSQL에서 ES로의 CDC 파이프라인을 Kafka Connect로 구성한 뒤의 트러블슈팅 글입니다. 제공된 본문만으로는 구체적 문제와 해결 내용은 확인되지 않습니다.
#PostgreSQL#Elasticsearch
4000
필터 1
토스증권 Iceberg 적용기 #1: CDC 환경은 왜 제대로 동작하지 않을까?
Iceberg CDC에서 발생하는 정합성 이슈와 원인을 정리하고, Position Delete 중심의 처리 원칙을 설명했습니다. Kafka key 설정, Commit Timeout, Schema Evolution 대응으로 중복 문제를 해결한 사례를 공유했습니다.
#Iceberg#CDC
17100
뮤직카우의 Amazon RDS와 Amazon Redshift 간 CDC 파이프라인 Zero-ETL로 쉽게 구축하기
뮤직카우가 Amazon RDS와 Amazon Redshift를 Zero-ETL로 연결해 준실시간 CDC 파이프라인을 구축한 사례를 공유했습니다. DMS 대비 관리 부담과 비용을 줄이고 자동 복구까지 활용한 설정 방법과 주의사항을 정리했습니다.
#AWS#Amazon RDS
7100
DBT를 활용해 준실시간으로 클라이언트 Journey 파악하기
DBT와 CDC, Airflow로 클라이언트 여정을 추적하는 `data_logs` 테이블 구축 사례를 소개했습니다.복잡한 조인과 스캔 비용을 줄이기 위해 증분 모델링과 파티션 최적화를 적용했습니다.
#DBT#Airflow
400
밑바닥부터 시작하는 실시간 데이터 파이프라인 : Debezium 톺아보기
기존 배치 적재의 지연을 줄이기 위해 Debezium 기반 실시간 CDC 파이프라인을 구축한 과정을 정리했습니다. Kafka Connect 구조, 스냅샷, 오프셋 관리와 성능 개선 포인트까지 살펴보았습니다.
#Debezium#Kafka Connect
17300
쿠폰, 어디에 쓸 수 있어요? — 이벤트 기반 적용 상품 조회 시스템 구축
쿠폰 적용 가능 상품을 실시간으로 조회하기 위해 이벤트 기반 반정규화와 Elasticsearch 인덱싱 구조를 구축했습니다. 복잡한 매핑과 갱신 조건을 단순화하고 검색 성능과 운영성을 함께 개선했습니다.
#Kafka#Elasticsearch
19800
로그 유형별 Iceberg 테이블 적재 및 운영 전략
X
#Iceberg#CDC
6900
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
Kafka Connect로 DB 데이터 쉽게 연동하기
Kafka Connect와 JDBC 소스 커넥터로 DB 데이터를 Kafka에 연동하는 방법을 설명했습니다. 쿼리 기반 CDC의 한계와 데이터 누락을 줄이는 설정도 함께 정리했습니다.
#Kafka Connect#JDBC
8400
Journey with Apache Flink & Flink CDC
X
#Apache Flink#CDC
5200
캐치테이블 글로벌 버전, MAU 두 배 성장의 비결! 다국어 서비스 개발기
캐치테이블 글로벌은 번역 마이크로서비스와 검수 어드민을 도입해 다국어 레이어를 구축했습니다. 또한 AWS DMS CDC와 Kafka를 활용해 기존 도메인 변경을 중앙에서 번역 요청하도록 설계했습니다.
#Kafka#REST API
16600
트랜잭션리스, 완벽한 CDC(Change Data Capture) 시스템 구축법
트랜잭션 롤백과 중복 조회에 의존하던 CDC의 한계를 짚고, QueryPie의 쿼리 시뮬레이션 기반 접근을 소개했습니다. DBMS 부하를 줄이면서도 변경 전후 데이터를 확보하는 구조와 효과를 설명했습니다.
#CDC#transaction
1000
트랜잭션리스, 완벽한 CDC(Change Data Capture) 시스템 구축법
트랜잭션 롤백에 의존하던 CDC의 성능 저하와 DBMS 종속성 문제를 다뤘습니다. QSI 기반 쿼리 시뮬레이션으로 변경 전후 데이터를 생성해 부하를 줄인 방식을 소개했습니다.
#CDC#transaction
1600
트랜잭션리스, 완벽한 CDC(Change Data Capture) 시스템 구축법
트랜잭션 기반 CDC의 롤백 부하와 DBMS 종속성 문제를 정리하고, QSI 쿼리 시뮬레이션으로 이를 대체하는 방법을 소개했습니다.\n트랜잭션 없이 변경 전후 데이터를 생성해 성능과 확장성을 높인 사례를 설명했습니다.
#CDC#transaction
2300
입수는 Datalake로! (feat. Iceberg)
Iceberg를 DataLake에 도입해 Kafka·CDC 입수와 테이블 운영을 더 효율적으로 개선했습니다. 또한 자동화된 모니터링과 유지보수로 실시간 조회와 성능 최적화를 함께 달성했습니다.
#Iceberg#Spark
4100