밑바닥부터 시작하는 실시간 데이터 파이프라인 : Debezium 톺아보기
기존 배치 적재의 지연을 줄이기 위해 Debezium 기반 실시간 CDC 파이프라인을 구축한 과정을 정리했습니다. Kafka Connect 구조, 스냅샷, 오프셋 관리와 성능 개선 포인트까지 살펴보았습니다.
#Debezium#Kafka Connect
17300
필터 1
일 평균 30억 건을 처리하는 결제 시스템의 DB를 Vitess로 교체하기 - 1. 솔루션 선정기
결제 시스템 DB를 Nbase-T에서 Vitess로 옮기기 위해 ShardingSphere와 TiDB, Vitess를 PoC로 비교했습니다. 성능과 비용의 균형, 운영 경험을 고려해 Vitess를 최종 선정했습니다.
#Vitess#TiDB
17200
실무에서 만나는 DB isolation level
MySQL 기본 격리 수준인 REPEATABLE READ 때문에 결제 트랜잭션에서 오래된 잔액이 유지되는 문제를 겪었습니다. 락 위치와 격리 수준을 조정해 동시성 이슈를 해결하는 과정을 정리했습니다.
#DB#transaction
24500
일일 Tech News ＆ Blog (25.05.22)
오픈AI의 AI 기기 개발, SKT 해킹 대응 검토, 통신사 이용자 보호 점검 등 산업·보안 이슈를 묶어 소개했습니다. 또한 LLM 게이트웨이, Airflow 버전관리, Codex 리뷰 같은 기술 기사도 함께 정리했습니다.
#LLM#Airflow
3500
데이터 맛집의 비밀 레시피: AI로 SQL 쿼리 자동화하기
반복적인 데이터 요청을 줄이기 위해 기존 SQL 쿼리를 임베딩해 재사용하는 AI 도구 MySQLTrip을 소개했습니다. 검증된 쿼리를 바탕으로 자동 생성과 에러 체크까지 연결해 데이터팀 효율을 높였습니다.
#SQL#Embedding
3200
MySQL ALTER DDL 수행 방식에 대한 이해
MySQL ALTER DDL 수행 방식을 이해하기 위한 글의 개요를 소개했습니다. 다만 제공된 본문만으로는 구체적인 설명이나 결론을 확인하기 어려웠습니다.
#MySQL
11600
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
우리의 애플리케이션에서 PreparedStatement는 어떻게 동작하고 있는가
PreparedStatement가 JDBC, HikariCP, Hibernate, MySQL Connector/J에서 어떻게 동작하는지 내부 구현까지 살펴본 글입니다. 설정별 성능 차이와 운영 시 주의할 점도 함께 정리했습니다.
#JDBC#PreparedStatement
15000
백패커의 Amazon EKS 운영 최적화 여정 1부: 운영 핵심 요소 최적화
백패커의 Amazon EKS 운영 중 발생한 CoreDNS, MySQL, Istio 관련 이슈와 해결 과정을 정리했습니다. 운영 환경에 맞춘 튜닝으로 안정성과 장애 대응력을 높인 사례를 소개했습니다.
#Amazon EKS#Kubernetes
6100
MyDumper와 MyLoader를 사용하여 대용량 데이터베이스를 Amazon Aurora MySQL로 마이그레이션하기
대용량 MySQL DB를 Aurora MySQL로 옮길 때 MyDumper와 MyLoader를 활용한 멀티스레드 논리 마이그레이션 방법을 소개했습니다. 백업·복원 속도 개선 옵션과 벤치마크 결과, AWS DMS 대안까지 함께 설명했습니다.
#MySQL#Amazon Aurora
2800
Trino로 타임아웃 개선하기
로그 누적으로 발생한 대시보드 타임아웃과 slow query 문제를 Trino 도입으로 개선한 사례를 다뤘습니다. OBS와 Parquet, MySQL tier down 구조를 통해 집계 성능과 저장 효율을 함께 고려했습니다.
#Trino#MySQL
3900
Kafka Connect로 DB 데이터 쉽게 연동하기
Kafka Connect와 JDBC 소스 커넥터로 DB 데이터를 Kafka에 연동하는 방법을 설명했습니다. 쿼리 기반 CDC의 한계와 데이터 누락을 줄이는 설정도 함께 정리했습니다.
#Kafka Connect#JDBC
8400
LLM을 활용한 스마트폰 시세조회 서비스 구축
LLM으로 중고 스마트폰 게시글에서 시세 산정용 정보를 추출하고 후처리하는 서비스를 구축했습니다. BigQuery, MySQL, 벡터 DB를 조합해 시세 조회와 유사 게시글 추천을 구현했습니다.
#LLM#BigQuery
5600
Exposed에서 도망 간 Escape를 찾습니다 (feat. MySQL)
Exposed와 MySQL 조합에서 발생한 SQLSyntaxErrorException의 원인을 단계적으로 추적했습니다. 임시 해결책보다 근본 원인을 찾는 디버깅 접근을 다뤘습니다.
#Exposed#MySQL
4200
데이터카탈로그에서 DataHub를 이용하는 방법
DataHub를 그대로 노출하지 않고 OpenSearch와 DB를 직접 활용해 데이터카탈로그에 맞는 검색·리니지·BI 통합 기능을 구현했습니다. 또한 버전업과 수집 성능 문제를 개선해 운영 적합성을 높였습니다.
#DataHub#EKS
12100