확장할 수 있는 데이터 추출 서비스 구축 경험 공유

데이터 추출 서비스 개선 경험

고객사의 엑셀 다운로드 기능을 개선하기 위해, 데이터 추출 속도를 높이고 서버 자원 부하를 줄이는 방안을 모색했습니다. 기존에는 동기적인 방식으로 인해 데이터 요청 시 사용자가 로딩을 대기해야 하는 문제가 있었습니다. 이를 해결하기 위해 비동기 방식으로 브라우저 닫힘에도 데이터 추출이 가능하도록 개선하였습니다.

• Kafka 이벤트를 통해 데이터 추출 서비스에서 자료를 생성
• 백엔드와 별도로 엑셀 생성 서버를 구축하여 부하를 분산
• Spring Batch를 활용한 병렬 처리 및 Partitioning 기법 적용

이러한 방법으로 데이터 추출 요청에 대한 안정적인 서비스를 제공할 수 있었습니다. 여러 엑셀 파일을 병합하고 관리하는 체계적인 시스템 흐름을 구축하여, 효율적인 데이터 추출이 가능해졌습니다.