엔비디아 텐서RT 11.1, 빌드 경로 탐색 튜너 도입

다중 빌드 경로 탐색

엔비디아가 딥러닝 컴파일러 텐서RT 11.1 버전에 자동 성능 튜닝 기능인 글로벌 성능 튜너를 도입했다. 기존 텐서RT는 모든 모델에 단일 기본 스케줄링 전략을 적용했으나 새 기능은 컴파일러 옵션 조합을 명시적인 빌드 경로로 정의해 탐색한다. 모델 특성이나 텐서 형상, 대상 그래픽 처리 장치에 따라 최적의 최적화 조합이 달라지는 한계를 보완하기 위한 조치다.

글로벌 성능 튜너는 텐서RT 11.1에서 200개 이상의 컴파일러 튜닝 옵션을 제공한다. 이 옵션들은 연산자 융합이나 휴리스틱, 코드 생성 경로 등 컴파일 파이프라인의 동작을 조정하며 각 옵션의 조합이 하나의 구체적인 빌드 경로를 형성한다. 파이썬 환경을 위한 동일한 튜닝 기능은 향후 토치-텐서RT 2.15 버전에 포함될 예정이다.

정확도와 성능 분리

새로운 튜너는 성능과 정확도의 상충 관계를 수학적 허용 오차 기준을 통해 분리해 다룬다. 사용자가 기준 데이터셋과 정확도 허용 오차를 설정하면 튜너는 이를 만족하지 못하는 후보군을 탐색 과정에서 즉각 배제한다. 이로써 정확도가 자격 요건을 결정하고 실측 성능이 적합 후보군 내의 우선순위를 정하는 제약 기반 최적화 구조를 구현했다.

실행 도구 기반의 튜닝 절차는 정규표현식 형태의 경로 표현식을 구체적인 후보 목록으로 확장하는 방식으로 동작한다. 각 경로를 순회하며 엔진을 빌드하고 추론 정확도와 종단 간 지연 시간을 실측한다. 컴파일 과정에서 충돌이 발생하거나 정확도 기준을 미달한 경로는 평가 대상에서 제외되며 최종적으로 가장 빠른 엔진이 채택된다.

실측 효과와 탐색 전략

엔비디아가 공개한 10개 평가 대상 워크로드 측정 결과에 따르면 글로벌 성능 튜너 적용 시 기본 빌드 경로 대비 1.14배에서 1.63배의 성능 향상이 확인됐다. 모델 구조에 따라 최적의 융합 방식과 최적화 기회가 서로 달라 단일 기본 경로만으로는 달성하기 어려웠던 성능을 확보할 수 있음을 보여준다.

효율적인 탐색을 위해 세 가지 검색 방식이 제시된다. 기본 경로를 기준으로 옵션을 하나씩 변경해 보는 빠른 검색, 개선 효과가 나타난 옵션들의 조합을 집중 탐색하는 혼합 검색, 소수의 핵심 옵션 조합 전체를 전수 조사하는 완전 검색이 있다. 실제 엔진을 생성하지 않고 탐색할 경로 목록만 미리 확인하는 사전 점검 기능도 지원된다.

개발자 활용 및 제약

개발자는 텐서RT의 빌드 설정 인터페이스를 활용해 자체적인 튜닝 루프나 검색 휴리스틱을 직접 구현할 수 있다. 빌드 도구는 튜닝 결과를 기록하는 캐시 파일 기능을 지원하여 탐색이 중단되더라도 기존 측정 지표를 바탕으로 작업을 이어갈 수 있도록 돕는다. 심층 디버깅이 필요한 경우에는 생성된 엔진 전체를 저장하는 옵션도 제공된다.

튜닝을 통해 도출된 최적 빌드 경로는 특정 모델, 입력 형상, 대상 하드웨어, 소프트웨어 버전에 종속된다는 명확한 한계가 존재한다. 대상 그래픽 카드나 쿠다 드라이버 환경이 바뀌면 기존의 최적 경로가 오히려 성능 저하를 유발할 수 있으므로 배포 환경이 달라질 때마다 재튜닝을 거쳐야 한다. 또한 좁은 범위의 데이터셋으로 검증된 엔진은 실제 서비스 환경의 품질을 보장하지 못하므로 대표성 있는 검증 데이터 선정이 필수적이다.