엔비디아 미션 컨트롤 2.5 공개, 쿠버네티스 워크로드에 자율 복구 엔진 확장

쿠버네티스 환경 지원

엔비디아가 데이터센터 관리 소프트웨어인 엔비디아 미션 컨트롤(NVIDIA Mission Control) 2.5 버전을 발표했다. 이번 갱신을 통해 기존에 슬럼(Slurm) 기반 고성능 컴퓨팅(HPC) 환경에서만 작동하던 자율 복구 엔진(Autonomous Recovery Engine)이 엔비디아 런에이(NVIDIA Run:ai)로 관리되는 쿠버네티스(Kubernetes) 워크로드까지 지원 범위를 넓혔다.

미션 컨트롤에 기본 스케줄러로 포함된 런에이는 대규모 인공지능 워크로드의 배치와 대기열, 정책 관리를 담당한다. 새로 도입된 자율 복구 구조는 스케줄러와 작업 복구 계층, 하드웨어 복구 계층이 상호 연동되는 3계층 제어 루프로 구성되어 장애 발생 시 수동 개입을 줄이고 인프라 복원력을 강화한다.

대규모 분산 학습의 한계

현대 인공지능 팩토리는 수천 개의 그래픽 처리 장치(GPU)와 수백 개 노드에 걸쳐 며칠 또는 몇 주 동안 분산 학습을 지속한다. 이러한 규모에서는 하드웨어 이상, 소프트웨어 오류, 네트워크 지연, 자원 충돌이 일상적으로 발생해 전통적인 수동 개입과 정적 체크포인트 방식으로는 운영 가용성을 유지하기 어렵다.

기존 운영 방식은 장애 원인을 진단하고 조치하는 동안 연산 작업이 중단되어 평균 수리 시간(MTTR)이 늘어나는 한계가 있었다. 공유 인프라 환경에서 다중 노드 작업을 병렬로 처리하는 조직이 증가함에 따라 선제적으로 시스템을 격리하고 작업을 이어가는 자동화 체계가 필수적 요소로 부상했다.

3계층 제어 루프 구조

미션 컨트롤 2.5의 자율 복구 엔진은 세 가지 역할을 분리하여 독립적으로 수행한다. 작업 배치 계층인 런에이 스케줄러는 사용 가능한 자원에 인공지능 워크로드를 할당하며, 자율 작업 복구 서비스는 실행 위치와 실패 이력을 추적하여 재시작, 재시도, 대기열 재진입 여부를 결정한다.

자율 하드웨어 복구 서비스는 인프라 상태를 상시 감시하여 이상이 감지된 노드와 GPU를 스케줄링 대상에서 격리하고 진단을 실행한다. 작업 복구 계층이 하드웨어 수리 절차를 알 필요가 없고, 하드웨어 계층 역시 개별 학습 프레임워크를 이해할 필요가 없도록 역할을 분리함으로써 시스템 이식성과 운영 효율성을 높였다.

장애 시나리오별 동작 방식

학습 중 GPU 오류나 통신 지연 같은 하드웨어 장애가 발생하면 복구 과정이 병렬로 진행된다. 작업 복구 서비스는 문제 노드를 식별해 다른 정상 노드에서 작업을 재개하도록 스케줄러에 전달하고, 하드웨어 복구 서비스는 해당 노드를 배제 상태로 전환한 뒤 백그라운드에서 진단 및 조치를 수행하여 유휴 시간을 줄인다.

일시적인 프로세스 종료나 시간 초과 같은 소프트웨어 오류의 경우 시스템은 불필요한 하드웨어 격리를 피한다. 작업 복구 서비스가 실패 이력을 바탕으로 단순 재시도를 실행하므로 장비 자원이 불필요하게 스케줄링 풀에서 제외되는 문제를 방지한다.

또한 하드웨어 성능 저하가 감지되면 작업 실패가 발생하기 전에 선제 조치를 취한다. GPU 상태 경고나 연결성 이상이 반복되는 노드를 스케줄러 할당 대상에서 사전 배제하고 점검을 진행하여 위험 노드로 인한 학습 중단을 사전에 차단한다.

플랫폼 운영 환경의 변화

이번 개편으로 플랫폼 운영 조직은 슬럼과 쿠버네티스가 혼재된 대규모 환경에서도 단일한 자율 복구 모델을 일관되게 적용할 수 있게 되었다. 결함 노드는 자동으로 사유가 기록 및 격리된 후 검증을 거쳐 서비스에 복귀하므로 운영자의 관리 부담이 감소한다.

인공지능 연구자와 실무자는 사용 중인 스케줄러 환경에 맞춰 작업을 자동으로 재개할 수 있어 연산 자원 낭비를 줄인다. 고가의 가속기 자원이 원인 규명을 기다리며 유휴 상태로 방치되는 시간을 최소화하여 전체 인프라 가동률을 끌어올릴 수 있다.

버전 2.5 세부 변경과 제약

미션 컨트롤 2.5 버전에는 자율 복구 확장 외에도 인공지능 기반 네트워크 이상 탐지 서비스가 시험(Beta) 형태로 추가되었다. 이와 함께 키클록(Keycloak)을 통한 중앙 인증 체계 개선, 보안 및 쿠버네티스 강화 패치, 엔비디아 베라 루빈(Vera Rubin) NVL72 아키텍처에 대한 조기 접근 권한이 포함되었다.

다만 새로 추가된 네트워크 이상 탐지 서비스는 시험 단계에 머물러 있어 운영 환경에 전면 적용하기에는 기능적 성숙도 확인이 필요하다. 신규 기능을 활용하려는 기존 미션 컨트롤 사용자는 공식 문서 안내에 따라 버전 갱신과 스케줄러 연동 설정을 진행해야 한다.