Velopers
모든 태그
태그

Kafka 기술 블로그 글

Kafka 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 233개최신 20개 표시
홈에서 필터

관련 태그

#MySQL101#Redis160#AWS654#모니터링262#Spring Boot185#Kotlin181#cache143#MSA136#Elasticsearch74#CQRS12#throughput2#LLM1,025

최신 게시글

20개 표시

데브옵스

[구축사례] IPFIX와 Goflow2로 구현한 kt cloud Network 미터링 내재화

OVN 전환으로 기존 미터링 방식이 막히자 IPFIX와 Goflow2로 새 과금 계측 체계를 구축했습니다. 로컬 캐시 매핑과 자원 격리로 정확도와 성능을 함께 확보했습니다.

#IPFIX#Goflow2#OVN
800

아키텍처

천만 MAU를 지탱하는 커뮤니티 시스템을 소개해요

천만 MAU를 버티기 위한 커뮤니티 시스템의 구조와 선택을 소개했습니다. 웹앱과 서버앱, 모듈과 이벤트 분리로 확장성과 운영성을 함께 확보한 사례입니다.

#MSA#모듈형 모놀리스#Redis
11501

백엔드

순서대로, 한 번만, 빠르게

Airbridge는 Kafka 이벤트 처리에서 마이크로 배치 병목을 줄이기 위해 Differential 구조를 도입했습니다. 순서 보장과 중복 방지를 유지하면서 처리 속도를 10배 이상 높였습니다.

#Kafka#gRPC#event
3300

아키텍처

더 빠르게, 그리고 무너지지 않게 — 전시 아키텍처 개선기 (1/3)

전시 상품 API의 Redis 병목과 캐시 단일 의존 문제를 구조적으로 개선했습니다. Kafka CDC, 병렬 처리, 다단계 조회로 더 빠르고 무너지지 않는 서빙 구조를 만들었습니다.

#Redis#MongoDB#Kafka
3800

기타

산업용 IoT의 표준, MQTT

산업용 IoT에서 MQTT의 Publish/Subscribe 구조와 QoS, Topic 기반 관리 방식을 소개했습니다.\n제한된 네트워크 환경에서도 확장성과 실시간성을 확보하는 활용 포인트를 정리했습니다.

#MQTT#IoT#Edge Computing
3200

백엔드

옴니채널 재고 정합성 한계에 대응하는 인벤토리 데이터 파이프라인 구축기

옴니채널 재고 정합성과 확장성 문제를 해결하기 위해 인벤토리 데이터 파이프라인을 이벤트 기반으로 재설계했습니다. Spring Batch, Kafka Fan-Out, Push/Pull 분리로 리드타임과 부하를 줄였습니다.

#Kafka#Spring Batch#AWS
14300

백엔드

설문 관리 서비스 구현 사례

의료 설문 플랫폼에서 설문 정의와 수집을 담당하는 서비스를 헥사고날 구조와 CQRS로 설계했습니다. Master/Snapshot, Kafka, Outbox 등을 적용해 정합성과 운영 안정성을 확보했습니다.

#Java#Spring Boot#Kafka
1100

데브옵스

[인프라를 소프트웨어처럼 2/5] 코드가 모르는 그 '환경'은 누가 만드는가

플랫폼팀이 코드 바깥의 환경 실체를 선언으로 만드는 방식을 설명했습니다. Kafka 토픽 선언과 검증, 추적 가능한 거버넌스 사례를 다뤘습니다.

#Terraform#YAML#JSON Schema
800

데브옵스

Flava DBaaS 딥다이브: 아키텍처부터 마이그레이션, 그리고 미래까지

Flava DBaaS의 쿠버네티스 기반 아키텍처와 운영 구조를 소개했습니다. 또한 마이그레이션 도구와 서버리스, AI 기반 확장 방향까지 설명했습니다.

#Kubernetes#DBaaS#MySQL
1900

백엔드

광고 성과 데이터 StarRocks 도입기

MySQL 기반 광고 성과 집계의 확장성과 안정성 문제를 해결하기 위해 StarRocks를 도입했습니다.\n외부 원천, MV 설계, 아키텍처 전환으로 부하 분리와 복구 편의성을 확보했습니다.

#Starrocks#MySQL#Kafka
17000

백엔드

Apache Iceberg 테이블 운영 실전기: 스냅샷 관리부터 Compaction까지

Iceberg 운영에서 스냅샷 폭증과 Small File 문제를 어떻게 다뤘는지 정리했습니다. 작업 이력 관리와 메인터넌스 정책으로 비용과 성능을 개선한 사례입니다.

#Apache Iceberg#Airflow#Spark
1000

기타

운영하지 않는 Kafka, EasyQueue를 소개합니다

X

#Kafka
18300

기타

플랫폼은 왜 계속 다시 설계되어야 할까 - Server Platform Team 이야기

서버 플랫폼 팀이 조직 성장에 맞춰 플랫폼을 계속 재설계하는 이유를 소개했습니다. AI 시대의 분석·개발·운영 변화와 그에 따른 가드레일까지 함께 다뤘습니다.

#SRE#CI/CD#Argo
8900

데브옵스

KBO 리그 이닝 교체 때 광고 요청 견뎌내기

KBO 리그 이닝 교체 때 몰리는 광고 요청을 분산하기 위해 prefetching과 내부 캐시 구조를 적용했습니다. 그 결과 외부 광고 서버 부하와 지연을 줄이고 버퍼링 지표도 개선했습니다.

#AWS#Kafka#cache
2700

백엔드

카프카 파티션 개수 산정식 설계 여정

Kafka 파티션 수를 처리량과 컨슈머 catch-up 기준으로 계산하는 산정식을 정리했습니다. 운영 환경 실측값을 반영해 토픽별 초기 파티션 수를 일관되게 정하는 방법을 제안했습니다.

#Kafka#partition#throughput
500

백엔드

카프카 파티션 개수 산정식 설계 여정

카프카 파티션 수를 정하는 산정식과 기준값을 설계한 과정을 정리했습니다. 프로듀서 처리량, 컨슈머 catch-up, 운영 한도를 함께 고려해 초기 파티션 수 판단 기준을 제안했습니다.

#Kafka#partitions#throughput
18200

아키텍처

[코드가 환경을 모르는 구조 7/7] Variant와 스냅샷 캐시, 그리고 다섯 축의 총합

테스트 인프라를 프로덕션 구조에 맞춰 variant와 스냅샷 캐시로 분리·재사용하는 방법을 정리했습니다. 경계를 깎아 교체 가능성을 만들면 CI와 개발 이터레이션이 함께 빨라졌습니다.

#MySQL#Kafka#Elasticsearch
12500

데브옵스

[코드가 환경을 모르는 구조 7/7] Variant와 스냅샷 캐시, 그리고 다섯 축의 총합

테스트 인프라에서 variant와 스냅샷 캐시로 프로덕션의 분리를 그대로 재현하는 구조를 설명했습니다. 경계를 명확히 하면 교체 가능성이 높아지고 실험 속도도 빨라진다고 정리했습니다.

#Kotlin#MySQL#Kafka
4200

아키텍처

[코드가 환경을 모르는 구조 5/7] Rewrite Host — 공간 축을 교체한다

MSA 환경에서 전체 시스템을 띄우지 않고 수정 중인 서비스만 로컬로 교체하는 Rewrite Host를 소개했습니다. 디버그 헤더로 라우팅을 바꾸고, 응답 헤더로 적용 여부를 알려주는 방식입니다.

#MSA#Spring Cloud Gateway#Redis
2900

아키텍처

[코드가 환경을 모르는 구조 4/7] 타임머신 — 시간 축을 교체한다

HR SaaS에서 시간을 비즈니스 입력으로 보고, 요청 헤더와 `Clock` Adapter로 현재 시점을 교체하는 타임머신 구조를 설명했습니다. 비동기 경계 전파와 환경별 활성화, 서드파티 시계 호출의 한계도 함께 다뤘습니다.

#헥사고날 아키텍처#Spring Boot#Kotlin
600