데브옵스
EKS 4개와 클러스터 11개를 서비스 중단 없이 버전 통일하기
두줄요약
EKS 11개 클러스터를 단계적 절차와 안전판으로 8일 만에 v1.35로 통일했습니다. AI 에이전트와 사람의 승인 분리를 통해 서비스 중단 없이 업그레이드를 마쳤습니다.
문제 상황
- EKS 11개 클러스터의 쿠버네티스 버전과 Karpenter 버전이 제각각으로 분산된 상태
- 컨트롤 플레인 업그레이드 시 노드 교체, CRD 호환성, 상태 워크로드 재기동 같은 위험 요소 다수
- 가장 낡은 클러스터는 Karpenter API 세대까지 건너야 하는 구간 존재
해결 방법
- dev로 절차를 먼저 검증한 뒤 prod에 반복 적용하는 단계적 업그레이드
- 쿠버네티스 마이너를 한 번에 하나씩 올리고, 애드온과 Karpenter 선행 조건을 역순으로 정렬
- 관리형 노드그룹의 surge, Karpenter disruption budget, PDB, topology spread로 교체 안전판 구성
운영 포인트
- AI 에이전트가 정찰, PR 초안, 검증 루프를 맡고 사람은 승인과 최종 판단만 담당
- storage version migration, 선언과 실제 값 불일치, conversion webhook 이슈 같은 함정은 사전 점검과 실측으로 대응
- 기록과 체크포인트로 세션 연속성을 유지하며 8일간 109건 PR로 전환 완료