MySQL Online Alter 및 CPU 100% 장애 사례

쿠키런: 오븐브레이크 팀에서 AWS Aurora MySQL을 사용하여 신규 기능 추가 및 테이블 변경과 관련한 경험을 공유합니다. 신규 패키지 매출 랭킹 기능을 구현하기 위해 구매 시점 정보를 추가하기로 결론지었고, ALTER TABLE 작업을 수행하기 위해 online alter 방식을 선택했습니다. 첫 번째 시도는 MySQL의 inplace algorithm을 사용했으나, 에러로 인해 Percona Toolkit의 online schema change 기능을 활용하기로 했습니다. 여러 단계의 테스트를 거쳐 실제 서비스 환경에 적용했으며, 성공적으로 online alter를 완료했습니다. 그러나 기능 배포 후 CPU 사용량이 급격히 상승하여 100%에 도달하는 장애가 발생했습니다. 원인 분석 결과, 쿼리 최적화 부족과 캐시 사용 패턴의 비효율성이 문제로 드러났습니다. 쿼리를 최적화하고 캐시 시스템을 개선하여 최종적으로 문제를 해결했습니다.