데이터 파티셔닝과 Z-order Curve

이 게시물은 SK하이닉스에서 쌓이는 대량 반도체 공정 및 장비 데이터를 효율적으로 탐색하기 위한 파티셔닝과 Z-order curve 기법을 설명합니다.

파티셔닝의 기본 개념

• 날짜, 플레이어 등 기준으로 데이터를 나누어 검색 효율을 높임
• 날짜 기준 파티셔닝은 해당 날짜 검색에 유리하지만, 다른 기준 검색은 비효율적

Z-order Curve 기법

• 두 개 이상의 컬럼을 이진법으로 인코딩해 번갈아 결합하여 Z-value 생성
• Z-value 기준으로 데이터를 정렬 및 분할하여 다중 기준 탐색 가능

추가 고려사항

• 데이터 불균형 및 갑작스러운 변화 대응을 위한 Liquid Clustering 기법은 다음 글에서 다룸