SageMaker AI 작업 속도 향상을 위한 SOCI 인덱싱 이미지 도입

SageMaker AI 컨테이너 이미지 로딩 방식의 변화

Amazon SageMaker AI는 딥러닝 컨테이너 이미지 다운로드 시간을 단축하기 위해 SOCI(Seekable OCI) 인덱싱을 도입한다. 이 기술은 컨테이너 이미지 전체를 미리 다운로드하는 대신, 컨테이너 시작에 필요한 파일만 즉시 로드하고 나머지 파일은 백그라운드에서 스트리밍하는 방식으로 동작한다. 이를 통해 SageMaker AI 훈련 및 처리 작업의 시작 시간을 수분에서 수초로 줄인다.

SOCI 인덱싱은 컨테이너 이미지의 모든 파일에 대한 메타데이터를 포함하는 인덱스를 활용한다. 이 인덱스는 Amazon ECR에 OCI(Open Container Initiative) 호환 아티팩트로 저장되며, 원본 이미지와 연결된다. SageMaker AI는 작업 생성 시 지정된 이미지에 SOCI 인덱스가 있는지 자동으로 확인하고, 인덱스가 존재하면 지연 로딩(lazy-loading) 방식을 적용한다. 인덱스를 읽을 수 없거나 지연 로딩이 실패할 경우, 작업은 표준 다운로드 방식으로 자동 전환되어 기존 워크플로우의 중단 위험 없이 항상 실행된다.

딥러닝 컨테이너 이미지 지연 로딩의 필요성

기존 SageMaker AI 훈련 및 처리 작업은 Amazon ECR에 저장된 컨테이너 이미지를 인스턴스에 완전히 다운로드하고 압축을 해제한 후 모든 레이어를 디스크에 기록해야 코드를 실행할 수 있었다. 소규모 이미지의 경우 몇 초가 소요되지만, 10GB 이상에 달하는 최신 딥러닝 이미지는 다운로드에 수분 이상이 걸린다. 이 시간은 모델 진행에 기여하지 않는 순수한 오버헤드이며, 작업 비용으로 청구된다.

특히 수백 개의 작업에 대한 하이퍼파라미터 튜닝, 빠른 실험, 짧은 처리 작업 등 반복 속도가 중요한 시나리오에서 이미지 다운로드 시간이 전체 런타임을 지배하는 경우가 많았다. 이러한 오버헤드는 개발자의 생산성을 저해하고 불필요한 비용을 발생시키는 주요 요인이었다. SOCI 인덱싱은 이러한 문제를 해결하여 작업 시작 시간을 단축하고, GPU 유휴 시간을 최대 90%까지 줄이는 것을 목표로 한다.

SOCI 인덱싱의 구체적인 동작 및 성능 측정 결과

SOCI는 오픈 소스 기술로, 컨테이너 이미지를 지연 로드한다. 런타임은 SOCI 인덱스를 사용하여 컨테이너를 즉시 시작하는 데 필요한 파일만 가져오고, 나머지 파일은 코드가 실행되는 동안 백그라운드에서 스트리밍한다. SOCI 인덱스는 이미지 다이제스트 및 기존 서명의 유효성을 유지하면서 원본 이미지와 별도로 Amazon ECR에 저장되는 메타데이터 아티팩트이다.

Amazon은 SOCI 인덱싱의 효과를 측정하기 위해 1.8GB에서 35.4GB에 이르는 8가지 이미지와 ml.g4dn, ml.g5, ml.g6, ml.g6e, ml.g7, ml.g7e, ml.p4d, ml.p5, ml.m7i 등 다양한 GPU 및 CPU 인스턴스 유형 및 크기를 사용하여 벤치마크를 수행했다. 다운로드 시간은 이미지 풀 시작부터 컨테이너가 실행 준비를 마칠 때까지 측정했으며, 모든 수치는 반복 실행의 중앙값이다.

측정 결과, SOCI 인덱싱을 사용한 지연 로딩은 이미지 크기에 관계없이 다운로드 시간을 크게 단축했다. 1.8GB 이미지의 경우 표준 다운로드 48초에서 3~11초로 약 8배, 13.2GB 이미지의 경우 3분 42초에서 약 6초로 약 34배, 35.4GB 이미지의 경우 7분 17초에서 3~11초로 약 38배 빨라졌다. 이미지 크기가 클수록 절감되는 시간이 더 커지는 경향을 보였다.

13.2GB 이미지를 13가지 인스턴스 유형/크기 조합에서 실행했을 때, 표준 다운로드 시간은 3분 16초에서 4분 20초 사이였으나, 지연 로딩은 6~8초를 유지했다. 이는 모든 구성에서 약 34배 빠른 속도이며, 인스턴스 유형이나 크기를 변경할 필요 없이 이점을 얻을 수 있음을 보여준다.

훈련 성능에 대한 영향도 측정했다. ResNet-50 이미지 분류 및 Qwen2.5-0.5B LLM 미세 조정 작업을 수행한 결과, 두 번째 에포크부터는 에포크당 시간이 표준 다운로드 방식과 동일했다. 첫 번째 에포크에서는 프레임워크가 처음으로 파일을 접근할 때 3~16초가 더 소요될 수 있지만, 전체 작업은 다운로드 시간 절약으로 인해 1~6분 더 빨리 완료되었다. 6GB 모델이 이미지에 포함된 경우에도 가중치 스트리밍에 2~3.5분이 추가되었지만, 전체 작업은 여전히 2~2.5분 더 빨리 끝났다.

개발자 및 사용자에게 미치는 영향과 적용 방법

SOCI 인덱싱 도입으로 개발자는 SageMaker AI 작업 시작 시간을 단축하고, 총 작업 비용을 절감하며, 머신러닝(ML) 반복 주기를 가속화할 수 있다. 컨테이너 이미지 다운로드에 소요되는 불필요한 대기 시간을 줄여 모델 구축에 더 많은 시간을 할애할 수 있게 된다.

SOCI 인덱싱을 적용하는 방법은 두 가지이다. 첫째, AWS에서 제공하는 사전 인덱싱된 딥러닝 컨테이너(DLC)를 사용하는 것이다. PyTorch Training, TensorFlow Training, vLLM, SGLang 등 인기 있는 DLC의 SOCI 인덱싱 변형이 '-soci' 접미사가 붙은 이미지 태그로 제공된다. 둘째, 사용자 정의 이미지에 직접 SOCI 인덱스를 생성하는 것이다. 이를 위해서는 containerd, SOCI snapshotter, Finch 또는 nerdctl이 설치된 Linux 호스트가 필요하다.

사용자 정의 이미지의 경우, CI/CD 파이프라인에서 인덱스 생성을 자동화할 수 있다. CFN ECR SOCI Index Builder를 배포하면 Amazon EventBridge 규칙을 사용하여 Amazon ECR 이미지 푸시 이벤트를 감지하고 자동으로 인덱스를 빌드한다. 기존 빌드 파이프라인을 변경할 필요가 없다.

SOCI 인덱싱된 이미지는 다른 이미지와 동일하게 SageMaker AI 작업에서 참조된다. API 변경은 필요 없으며, 이미지 태그만 다르게 지정하면 된다. 작업 시작 전에 'aws ecr batch-get-image' 명령을 사용하여 이미지 태그가 인덱싱된 이미지를 가리키는지 확인할 수 있다.

적용 조건 및 고려 사항

SOCI 인덱싱은 Amazon ECR 프라이빗 리포지토리의 이미지에만 적용된다. 다른 레지스트리의 이미지나 프라이빗 Docker 레지스트리(TrainingRepositoryAccessMode가 Vpc로 설정된 경우)를 통해 풀링된 이미지는 지연 로딩 대상이 아니다.

이미지 크기가 약 4GB 미만인 경우 성능 향상 폭이 상대적으로 작을 수 있다. 또한, SOCI 인덱싱된 이미지는 containerd 기반 런타임에서 실행되므로, Docker CLI를 호출하거나 cgroup 경로에서 식별자를 읽거나 파생하는 코드가 있는 엔트리 포인트 및 설정 스크립트를 검토해야 한다. SageMaker AI는 하위 호환성을 위해 '/.dockerenv' 마커를 마운트하지만, 새로운 종속성을 추가하는 것은 피해야 한다.

SOCI 인덱싱은 모든 AWS 리전에서 SageMaker AI 작업에 사용할 수 있다. 첫 번째 에포크 비용은 이미지와 코드가 시작 시 접근하는 내용에 따라 달라진다. 첫 번째 훈련 단계에서 이미지의 일부만 필요하고 나머지는 훈련 중에 스트리밍될 때 지연 로딩의 이점이 크다. 만약 엔트리 포인트가 훈련 시작 전에 이미지의 대부분을 읽는다면(예: 스캔, 체크섬, 콘텐츠 사전 로딩), 첫 번째 에포크는 전체 풀과 거의 동일한 바이트를 기다리게 되어 순 개선 효과가 작을 수 있다.