데브옵스
EKS 클러스터 11개를 서비스 중단 없이 버전 통일하기
두줄요약
EKS 11개 클러스터를 서비스 중단 없이 v1.35로 통일한 업그레이드 사례입니다. AI 에이전트를 오퍼레이터로 써 8일 만에 PR 109건을 처리하고 안전하게 전환했습니다.
문제 상황
- EKS 클러스터 11개가 v1.31~v1.35로 제각각 분산되고 Karpenter 버전도 크게 뒤처진 상태
- 노드 교체와 API 세대 전환, 상태 있는 워크로드 보호를 동시에 맞춰야 하는 업그레이드 복잡성
- 서비스 중단 없이 전사 클러스터 버전을 통일해야 하는 운영 과제
원인 분석
- 컨트롤 플레인만이 아니라 노드, 애드온, Karpenter, IAM, CRD가 연쇄적으로 맞물리는 구조
- 구버전 객체의 etcd 저장, 선언과 실제 상태 불일치, conversion webhook 결함 같은 전환 함정
- 업그레이드를 미루며 버전이 더 벌어져 절차와 검증 부담이 누적
해결 방법
- 한 번에 한 마이너씩 올리고 dev에서 파일럿 검증 후 prod에 반복 적용
- Karpenter와 IAM, CRD를 선행 정렬하고 PDB·surge·disruption budget으로 교체 안전판 구성
- AI 에이전트를 정찰·초안·검증에 활용하고 최종 승인과 실측 판단은 사람이 담당