Kubernetes v1.37, HPA를 통한 워크로드 제로 스케일링 기능 정식 지원

HPA 제로 스케일링 기능 도입

Kubernetes v1.37은 HorizontalPodAutoscaler(HPA)가 워크로드를 0개 복제본으로 스케일 다운하고 필요시 다시 확장하는 기능을 베타 버전으로 기본 활성화한다. 이 기능은 2026년 9월 2일에 발표되었다.

이전 버전인 v1.37 이전에는 0개 복제본 스케일링을 위해 애드온이나 외부 컴포넌트를 사용하거나 알파 기능 게이트를 활성화해야 했다. 이제 이 기능은 쿠버네티스 코어의 일부로 통합되어 더 쉽게 접근할 수 있다.

이 기능은 큐 소비자나 배치 처리기와 같이 유휴 상태의 Pod를 제거하여 전용 CPU나 GPU와 같은 고비용 리소스의 낭비를 크게 줄일 수 있다. 리소스 절감 효과는 각 Pod가 비싼 리소스를 예약할 때 가장 크다.

다만, 워크로드가 0개 복제본 상태에서 다시 시작할 때 발생하는 콜드 스타트 시간은 트레이드오프이다. 이 기능은 작업이 영구 큐에서 대기할 수 있는 환경에 잘 작동한다. 쿠버네티스 서비스는 Pod가 준비되지 않은 동안 요청을 버퍼링하지 않으므로, HTTP 및 기타 요청 기반 워크로드에는 별도의 버퍼링 계층이 필요하다.

제로 스케일링을 위한 메트릭 활용

HPA가 0개 복제본에서 다시 스케일 업하기 위해서는 기존의 CPU 또는 메모리 사용량과 같은 Pod 기반 메트릭 대신 외부 또는 오브젝트 메트릭이 필요하다. CPU 및 메모리 사용량 메트릭은 실행 중인 Pod에서 파생되므로, 복제본 수가 0이 되면 측정할 Pod가 없어 스케일 업 신호를 제공할 수 없다.

반면, 큐 길이와 같은 오브젝트 또는 외부 메트릭은 워커 Pod의 실행 여부와 독립적으로 존재한다. 따라서 HPA는 워커가 실행되지 않는 동안에도 큐 길이를 지속적으로 읽어 스케일 업 시점을 판단할 수 있다.

예시로 Prometheus의 `queue_consumer_lag` 메트릭을 활용하여 큐 소비자를 0개 복제본으로 스케일 다운하고 다시 확장하는 구성이 가능하다. Kubernetes는 External Metrics API를 통해 이러한 외부 메트릭 값을 사용할 수 있도록 메트릭 어댑터가 필요하며, Prometheus Adapter가 이를 구현할 수 있다.

구체적인 설정 및 동작 방식

외부 메트릭을 사용하려면 Prometheus Adapter와 같은 메트릭 어댑터를 구성하여 Prometheus 시리즈를 `externalRules` 항목을 통해 노출해야 한다. HPA를 생성하기 전에 Kubernetes가 메트릭을 올바르게 읽을 수 있는지 확인하는 것이 중요하다.

HPA는 큐가 비어 있을 때 배포를 0개 복제본으로 줄이며, 작업이 도착하면 외부 메트릭을 통해 새로운 복제본 수를 계산하여 `maxReplicas`에 의해 제한된 범위 내에서 확장한다. HPA는 `ScaledToZero` 상태 조건을 사용하여 자신이 워크로드를 0개 복제본으로 스케일 다운했는지 여부를 기록한다. 이 조건이 `True`일 때만 HPA가 0개 복제본 상태를 소유하며 메트릭 평가를 계속한다.

수동으로 배포를 0개 복제본으로 설정하면 HPA의 자동 스케일링이 일시 중지된다. HPA는 자신이 직접 스케일 다운하지 않은 워크로드를 다시 깨우지 않는다. 또한, HPA의 기본 다운스케일 안정화 기간은 5분이며, 이는 `spec.behavior.scaleDown`을 통해 워크로드 특성에 맞게 조정할 수 있다.

개발자 및 사용자 영향

이 기능은 유휴 상태의 워크로드에 대한 리소스 소비를 최소화하여 운영 비용을 절감하는 데 크게 기여한다. 특히 전용 CPU나 GPU와 같은 고가치 리소스를 사용하는 워크로드에서 비용 절감 효과가 크다.

개발자는 더 이상 0개 복제본 스케일링을 위해 복잡한 외부 애드온이나 알파 기능 게이트를 활성화할 필요 없이, 코어 쿠버네티스 기능으로 직접 활용할 수 있다. 이는 쿠버네티스 환경에서 서버리스(serverless)와 유사한 비용 효율적인 워크로드 관리를 가능하게 한다.

다만, HTTP 및 요청 기반 워크로드의 경우 쿠버네티스 서비스가 요청을 버퍼링하지 않으므로, 별도의 버퍼링 계층이 필요하다는 점을 고려해야 한다. 이는 아키텍처 설계 시 중요한 제약 사항으로 작용한다.

HPA가 구성된 메트릭을 반환할 수 없는 경우, HPA는 `ScalingActive=False` 상태와 `FailedGetExternalMetric`과 같은 이유를 보고한다. 이 경우 메트릭 파이프라인을 복원하거나 수동으로 워크로드를 스케일 업하여 용량을 복구해야 한다.

적용 조건 및 한계

Kubernetes v1.37에서는 `HPAScaleToZero` 기능 게이트가 `kube-apiserver`와 `kube-controller-manager` 모두에서 기본으로 활성화된다. API 서버는 `minReplicas: 0`을 허용하고, 컨트롤러 매니저는 조건 기반 스케일링을 수행한다.

버전 불일치(version-skewed) 제어 플레인 업그레이드 중에는 `minReplicas: 0`을 사용하는 HPA를 생성하기 전에 두 컴포넌트 모두 이 기능을 지원하고 활성화될 때까지 기다려야 한다. 기능이 비활성화된 컨트롤러 매니저는 `replicas: 0`을 수동 정지로 간주하여 워크로드를 0개 복제본 상태로 유지할 수 있다.

기능 게이트를 비활성화하거나 조건 기반 구현이 없는 이전 버전으로 다운그레이드하기 전에는 영향을 받는 HPA의 `minReplicas`를 1 이상으로 변경하고, 현재 0개 복제본인 워크로드를 최소 1개 복제본으로 스케일 업해야 한다.

`minReplicas: 0`을 설정하는 HPA는 CPU 또는 메모리와 같은 리소스 메트릭만 포함할 수 없으며, 반드시 하나 이상의 오브젝트 또는 외부 메트릭을 포함해야 한다. API 서버는 리소스 메트릭만 있는 HPA를 거부한다.