
고객 타게팅을 좀 더 정교하게, ClickHouse 도입기
고객 타게팅 정교화를 위해 대용량 커머스 데이터를 처리할 OLAP로 ClickHouse를 도입했습니다. 다만 JOIN, Point Query, 업데이트성 데이터 제약은 Hot/Cold 분리와 보조 저장소로 보완했습니다.
#ClickHouse#OLAP
15005분

고객 타게팅 정교화를 위해 대용량 커머스 데이터를 처리할 OLAP로 ClickHouse를 도입했습니다. 다만 JOIN, Point Query, 업데이트성 데이터 제약은 Hot/Cold 분리와 보조 저장소로 보완했습니다.


서비스 점검 중 공지만으로 작업을 막기 어려워 애플리케이션 레벨 차단 도구를 만들었습니다. 이후 Redis 캐싱으로 RDBMS 의존성을 줄이며 점검 상황에 대응했습니다.


Kafka Connect와 JDBC 소스 커넥터로 DB 데이터를 Kafka에 연동하는 방법을 설명했습니다. 쿼리 기반 CDC의 한계와 데이터 누락을 줄이는 설정도 함께 정리했습니다.

DynamoDB의 핵심 개념과 설계 기준을 RDBMS ERD 관점에서 정리했습니다. Access Pattern을 먼저 정의하고 Reverse Modeling으로 테이블과 인덱스를 설계하는 흐름을 설명했습니다.