대용량 데이터 등록 개선

프로젝트 배경

Monolithic 구조의 프로젝트에서 XML에 있는 SQL을 파싱하고 메타데이터를 MySQL에 저장하는 과정에서 대량의 데이터 등록 시간이 문제가 되었습니다.

기존 방식과 문제점

• 기존에는 save 메소드를 사용해 각 엔티티를 개별적으로 저장, 많은 트랜잭션과 커넥션 발생.

개선 방법

• saveAll 메소드를 통해 다량의 데이터를 한 번에 저장.
• 배치 인서트를 적용해 성능 향상.
• ExecutorService와 CompletableFuture를 활용한 병렬 데이터 등록.

결과

기존 9분 소요되던 등록 시간이 2분 이내로 단축되었습니다.