허깅페이스, AWS 트레니움 지원 모델 검색 스페이스와 공개 데이터셋 공개

호환성 검증 도구 공개

허깅페이스가 허브의 인기 오픈소스 모델이 AWS의 인공지능 가속기인 트레니움에서 수정 없이 구동되는지 검증하고 이를 조회할 수 있는 웹 스페이스를 공개했다. 이번에 제공되는 도구는 토치뉴런 패키지를 기반으로 트랜스포머스 모델이 가속기 상에서 정상 동작하는지 테스트한 결과를 정리해 보여준다. 개발자는 특정 모델의 구동 성공 여부는 물론 실행에 필요한 트레니움 코어 수와 실행 소요 시간, 최대 디바이스 메모리 사용량을 한눈에 확인할 수 있다.

해당 웹 도구는 허브에서 다운로드 수와 트렌드 점수가 높은 주요 모델을 모아둔 기본 화면과 함께 다운로드 순위 및 트렌드 순위별로 모델을 검색할 수 있는 기능을 제공한다. 특정 모델이 테스트 대상에서 제외된 경우에는 우선순위에서 밀렸거나 기술적으로 호환되지 않는다는 사유를 명시한다. 사용자는 뉴런 컴파일러 버전과 트랜스포머스 라이브러리 버전을 직접 선택해 원하는 소프트웨어 환경에 맞춘 테스트 결과를 탐색할 수 있다.

개발 배경과 기술 구조

이번 도구는 AWS 트레니움을 지원하는 네이티브 파이토치 백엔드인 토치뉴런의 등장에 맞춰 개발됐다. 토치뉴런을 사용하면 트랜스포머스가 다른 하드웨어 가속기에서 구동될 때와 동일하게 자체 모델링 코드를 직접 트레니움에서 실행할 수 있어 이론상 허브의 모든 모델이 동작할 수 있다. 그러나 실제 구동 여부는 모델 구조와 컴파일러 호환성에 따라 달라질 수 있어 이를 체계적으로 검증하고 알릴 기준이 필요했다.

테스트를 통과한 모델을 선택하면 검증에 쓰인 뉴런 소프트웨어 스택과 추가 설치 패키지 목록, 실제 구동에 사용된 파이썬 실행 스크립트가 그대로 제공된다. 이 스크립트는 사전 학습 모델을 불러온 뒤 정적 캐시와 파이토치 컴파일 백엔드를 활용해 텍스트를 생성하도록 구성되어 있다. 모델이 여러 코어로 분할되는 경우 스크립트 내부에서 자체적으로 분산 환경을 초기화하므로 별도의 분산 실행 래퍼 명령어를 사용하지 않아도 된다.

테스트 방식과 데이터셋

호환성 테스트는 트레니움2 인스턴스에서 가중치를 적재할 수 있는 최소한의 코어 수로 모델을 분할 적재하는 방식으로 진행된다. 대부분의 모델은 텐서 병렬 처리를 통해 분할되며 텐서 병렬 계획이 없는 전문가 혼합 모델은 전문가 병렬 처리 방식으로만 분할해 적재한다. 적재가 완료되면 모델은 32개의 토큰을 생성하며 단일 코어 환경에서는 동일한 체크포인트를 씨피유에서 실행한 결과와 토큰을 대조하고, 분산 환경에서는 별도의 판별 모델을 통해 생성된 영문이 자연스러운지 검증한다.

웹 화면에 표시되는 모든 검증 데이터는 공용 저장소의 파케이 파일 데이터셋으로 공개되어 있어 판다스 같은 데이터 분석 도구로 직접 질의할 수 있다. 컴파일러 버전과 라이브러리 버전 쌍마다 별도의 파일로 저장되며 각 행에는 모델 식별자, 구동 결과, 실패 시 발생한 오류 내역, 실행 스택 버전, 실행 스크립트 전문이 포함된다. 또한 첫 실행 시 거쳐야 하는 컴파일 단계를 생략할 수 있도록 테스트 과정에서 생성된 공개 컴파일 그래프 캐시를 동기화하는 수단도 지원한다.

지원 범위와 제약 사항

현재 진행된 호환성 검증은 트랜스포머스 기반의 텍스트 생성 및 이미지와 텍스트를 함께 처리하는 멀티모달 모델에 한정되어 있다. 이미지 생성 모델인 디퓨저스나 문장 임베딩 모델 등 다른 작업군에 대한 검증은 추후 단계적으로 확대될 예정이다. 따라서 현재 목록에 없는 작업 유형의 모델은 개발자가 직접 환경을 구축해 동작 여부를 확인해야 한다.

검증 환경 자체에도 명확한 제약이 존재한다. 테스트는 트레니움2 장치 4대, 즉 최대 16개 코어에 올라가는 크기의 모델까지만 다루고 있어 그보다 많은 연산 자원을 요구하는 대형 모델은 이번 검증 대상에 포함되지 않았다. 또한 통과 판정은 단지 32개 토큰을 생성해 정상 구동과 최소한의 품질을 확인했다는 뜻일 뿐, 실제 서비스 환경에서 요구되는 연산 처리량이나 긴 문맥 생성 성능을 보증하는 것은 아니다.