SageMaker SDK v3 기반 엣지 컴퓨터 비전 모델 수명 주기 관리 아키텍처

변화의 핵심

AWS는 Amazon SageMaker Python SDK v3를 기반으로 하는 엣지 컴퓨터 비전 모델의 수명 주기 관리 아키텍처를 발표했다. 이 아키텍처는 2023년에 소개된 패턴을 업데이트하며, 기존의 Amazon SageMaker Edge Manager를 Amazon SageMaker Neo로 대체하여 엣지 최적화를 수행한다. 핵심은 카메라별로 이상 감지기(anomaly detector)와 결함 분류기(defect classifier)를 학습시키는 듀얼 브랜치 Amazon SageMaker 파이프라인이다.

이 파이프라인은 성능 미달 모델을 차단하는 품질 게이트를 포함하며, 파이프라인 내 SageMaker Neo 컴파일 단계를 통해 모든 등록 모델이 디바이스에 최적화된 아티팩트를 갖도록 보장한다. AWS Step Functions 오케스트레이션 계층은 대규모 모델 학습 속도를 조절하며, 전체 시스템은 AWS Cloud Development Kit (AWS CDK)로 배포된다. 합성 데이터를 사용한 전체 파이프라인 실행 비용은 컴퓨팅 비용으로 약 0.07달러가 소요된다.

배경 및 필요성

컴퓨터 비전 모델의 수명 주기 관리는 품질 검사 개념 증명이 성공하는 순간부터 중요한 문제로 부상한다. 단일 카메라와 단일 모델은 잘 작동하지만, 여러 카메라를 사용하는 수십 개의 생산 라인에 적용될 경우 각 카메라의 시야가 달라지면서 문제가 발생한다. 각 카메라마다 다른 각도, 동일한 표면에서의 다른 반사광, 개방된 베이 도어에 따른 다른 주변광 등 다양한 환경적 요인이 존재한다.

이러한 환경에서 모든 영상을 통합하여 학습한 단일 모델은 개별 카메라의 성능을 충분히 발휘하지 못하는 경우가 많다. 결과적으로 각 카메라마다 자체적으로 미세 조정된 모델이 필요하게 되며, 이는 단일 모델을 잘 학습시키는 것을 넘어 수천 개의 모델을 사람의 개입 없이 학습, 평가, 버전 관리, 배포해야 하는 복잡한 문제로 이어진다. 이러한 대규모 모델 관리의 자동화가 이 아키텍처의 주요 목표이다.

구체적 구현 및 동작

이 솔루션은 오케스트레이션 계층과 카메라별 학습 파이프라인으로 구성된다. 학습 파이프라인은 카메라별로 매 실행 시 13단계를 거친다. 전처리, 최신 이상 감지 모델 가져오기, 최신 분류 모델 가져오기 세 단계가 병렬로 실행된다. 파이프라인은 카메라 이미지를 전처리하고, 각 브랜치에 대해 가장 최근에 승인된 모델을 가져온 후 두 가지 모델을 학습한다. 첫 번째는 정상 제품의 특징을 학습하고 재구성 오류로 이상을 감지하는 작은 컨볼루션 오토인코더이며, 두 번째는 결함을 확인하기 위해 미세 조정된 ResNet18 분류기이다.

각 브랜치는 모델을 ONNX 형식으로 내보내고, 내보낸 아티팩트를 홀드아웃 데이터로 평가한 후 품질 게이트를 통과시킨다. 게이트를 통과한 모델은 구성된 엣지 타겟을 위해 SageMaker Neo로 컴파일된 후 SageMaker 모델 레지스트리에 등록된다. 이로써 모든 승인된 패키지는 디바이스에서 바로 사용할 수 있는 컴파일된 아티팩트를 포함한다. 패키지는 카메라 ID를 메타데이터로 가지며, 재학습 시 해당 카메라의 이전 모델로부터 시작하여 증분 학습을 가능하게 한다.

품질 게이트는 이상 감지 브랜치에서 AUROC(Area Under the Receiver Operating Characteristic curve)가 최소 0.8 이상이어야 한다고 요구한다. 분류기 브랜치는 결함 데이터의 심각한 클래스 불균형을 고려하여 두 가지 지표를 동시에 사용한다. 약 90%의 이미지가 정상인 상황에서 단순 정확도는 의미가 없으므로, 균형 정확도(balanced accuracy)가 최소 0.6 이상이고 결함 재현율(defect recall)이 최소 0.5 이상이어야 한다. 두 조건 모두 충족해야 모델이 등록된다. 게이트 실패 시 해당 모델은 레지스트리에 도달하지 못하고 이전 승인 모델이 계속 서비스된다.

SageMaker Neo 컴파일 단계는 품질 게이트 통과 후 모델 등록 전에 실행된다. 학습 스크립트는 동적 배치 축을 가진 ONNX 모델을 내보내며, 품질 게이트는 ONNX 런타임으로 이 아티팩트를 평가한다. 컴파일 단계는 ONNX 모델만 포함하는 tarball을 생성하고, 동적 배치 축을 배치 크기 1로 고정하여 컴파일 요청을 수행한다. 타겟 디바이스는 파이프라인 파라미터로 지정할 수 있으며, 기본값은 LINUX/X86_64 플랫폼이다. 컴파일된 패키지는 최적화된 `compiled.so` 파일과 이를 로드하기 위한 DLR 런타임을 포함한다.

오케스트레이션 계층은 대규모 학습 요청을 조절한다. 재학습 요청은 Amazon Simple Queue Service (Amazon SQS) FIFO 큐에 쌓이고, AWS Lambda 함수가 요청당 AWS Step Functions 실행을 시작한다. 각 실행은 DynamoDB 세마포어를 통해 슬롯을 확보한 후 파이프라인을 시작하여, 요청이 한꺼번에 폭주하는 것을 방지하고 일정한 속도로 처리되도록 한다. 기본적으로 최대 5개의 파이프라인 실행이 동시에 허용되며, 이는 표준 계정 할당량 내에서 SageMaker 학습 작업을 유지한다.

SageMaker Python SDK v3는 모듈화된 패키지로 재구성되었다. 예를 들어, `sagemaker.train.ModelTrainer`는 `instance_count`, `role`, `program`, `hyperparameters` 등을 포함하는 `InputData`, `Compute`, `OutputDataConfig`와 같은 타입이 지정된 구성 객체를 받는다. SDK v3는 파이프라인 정의를 빌드할 때 IAM 역할을 라이브 IAM에 대해 검증하며, 이는 CDK 애플리케이션 내에서 파이프라인을 정의할 때 역할 생성과 파이프라인 배포를 한 번에 할 수 없게 하는 변경 사항이다. 또한, `PipelineSession(default_bucket=your_bucket)`을 사용하여 SDK 관리 업로드를 파이프라인의 자체 버킷으로 라우팅하여 모든 아티팩트를 한 곳에 모을 수 있다.

개발자 및 사용자 영향

이 아키텍처는 개발자와 사용자에게 여러 이점을 제공한다. 첫째, 수천 개의 카메라별 모델에 대한 학습, 평가, 버전 관리 및 배포 과정을 자동화하여 수동 개입의 필요성을 크게 줄인다. 이는 운영 효율성을 높이고 인적 오류 가능성을 낮춘다. 둘째, 품질 게이트를 통해 등록되는 모든 모델이 특정 성능 기준을 충족하도록 보장하여, 엣지 디바이스에 배포되는 모델의 일관된 품질을 유지할 수 있다.

셋째, SageMaker Neo를 통한 엣지 디바이스 최적화 컴파일은 모델이 대상 하드웨어에서 효율적으로 실행되도록 보장한다. 이는 엣지 디바이스의 제한된 컴퓨팅 자원을 최대한 활용하는 데 기여한다. 넷째, SageMaker 모델 레지스트리의 카메라 ID 메타데이터를 활용한 '웜 스타트(warm-start)' 기능은 각 카메라의 이전 학습 이력을 기반으로 증분 학습을 가능하게 하여, 빠르고 비용 효율적인 재학습을 지원한다. 마지막으로, Step Functions 기반의 오케스트레이션은 계정 할당량 내에서 대규모 학습 요청을 안정적으로 처리할 수 있는 확장 가능한 프레임워크를 제공한다.

적용 조건 및 한계

기본적으로 파이프라인은 합성 생산 라인 이미지를 생성하여 데이터셋 없이도 전체 시스템을 검증할 수 있다. 전체 실행은 약 15분 소요되며, ml.m5.xlarge 인스턴스 기준으로 약 0.07달러의 컴퓨팅 비용이 발생한다. 실제 이미지를 사용하려면 BCCD 데이터셋 다운로더를 활용할 수 있다. 이 데이터셋은 MIT 라이선스 하에 공개된 혈액 도말 현미경 이미지 모음이다.

모델 패키지는 파이프라인 런타임에 생성되므로 AWS CloudFormation으로 삭제할 수 없으며, AWS CLI를 사용하여 수동으로 제거해야 한다. 이 패턴은 Amazon Lookout for Vision과 같은 관리형 옵션으로 충족되지 않는 '카메라별, 대규모' 제약 조건을 가진 팀을 대상으로 한다. 설계 원칙은 컴퓨터 비전 외의 다른 분야에도 적용될 수 있으며, 예를 들어 정확도 대신 균형 정확도와 소수 클래스 재현율로 게이트를 설정하고, 배포할 아티팩트를 평가 및 컴파일하며, 운영 실패 시 자동 알림을 설정하는 것 등이 포함된다.