데이터 추출 서비스 개선 경험

고객사의 엑셀 다운로드 기능을 개선하기 위해, 데이터 추출 속도를 높이고 서버 자원 부하를 줄이는 방안을 모색했습니다. 기존에는 동기적인 방식으로 인해 데이터 요청 시 사용자가 로딩을 대기해야 하는 문제가 있었습니다. 이를 해결하기 위해 비동기 방식으로 브라우저 닫힘에도 데이터 추출이 가능하도록 개선하였습니다.

• Kafka 이벤트를 통해 데이터 추출 서비스에서 자료를 생성
• 백엔드와 별도로 엑셀 생성 서버를 구축하여 부하를 분산
• Spring Batch를 활용한 병렬 처리 및 Partitioning 기법 적용

이러한 방법으로 데이터 추출 요청에 대한 안정적인 서비스를 제공할 수 있었습니다. 여러 엑셀 파일을 병합하고 관리하는 체계적인 시스템 흐름을 구축하여, 효율적인 데이터 추출이 가능해졌습니다.