엔비디아, 추가 훈련 없는 표 데이터 파운데이션 모델 쿠모 태뷸러 공개

표 데이터 파운데이션 모델 공개

엔비디아가 표 형식 데이터 처리를 위한 오픈 파운데이션 모델인 쿠모 태뷸러(Kumo Tabular)를 공개했다. 이 모델은 라벨이 포함된 표 데이터를 문맥으로 입력받아 추가 훈련이나 특성 공학 없이 단일 순방향 연산만으로 분류와 회귀 예측을 수행한다. 매개변수 규모에 따라 2,800만 개부터 2억 1,500만 개까지 세 가지 크기로 제공되며, 상업적 활용을 지원하는 오픈엠디더블유(OpenMDW) 1.1 라이선스로 배포된다.

거래 내역, 고객 기록, 센서 로그 등 기업의 핵심 업무 데이터는 대부분 표 형태로 관리되며 고객 이탈이나 가격 예측 같은 주요 머신러닝 과제에 활용된다. 지난 20년 동안 그래디언트 부스팅 트리(GBT) 계열 알고리즘이 널리 쓰였으나, 새로운 과제가 생길 때마다 데이터를 수집하고 특성을 가공해 모델을 바닥부터 다시 학습해야 하는 작업 부담이 지속되었다. 대형 언어 모델에서 검증된 문맥 내 학습(In-context Learning) 개념을 표 데이터에 적용함으로써 매번 파라미터를 업데이트하지 않고도 표 전체 맥락을 해석해 즉시 결과를 내는 방식으로 개선되었다.

트랜스포머 기반 연산 구조

쿠모 태뷸러는 표의 2차원 구조적 특성을 처리하도록 설계된 트랜스포머 아키텍처를 기반으로 작동한다. 셀 임베딩 단계에서는 수치형 및 범주형 데이터가 학습된 주파수를 반영하는 푸리에 특성을 거쳐 토큰으로 변환되며 결측치는 별도의 대체 과정 없이 특수 처리된다. 이후 행 임베딩 단계에서는 단일 열의 값 분포를 학습하는 열 어텐션과 단일 행 내부의 특성 상호작용을 학습하는 행 어텐션을 교대로 수행하고, 네 개의 특수 토큰으로 행 정보를 압축해 열 증가에 따른 최종 연산량 부담을 해소한다.

최종 문맥 내 학습 단계에서는 라벨이 있는 문맥 행과 예측 대상인 질의 행을 처리하는 트랜스포머가 작동한다. 문맥 행은 상호 간에 주의를 기울이지만 질의 행은 오직 문맥 행만을 참조하므로 개별 질의에 대한 예측은 다른 질의 행의 구성에 영향을 받지 않는다. 또한 질의 행 처리에 그룹 쿼리 어텐션 방식을 도입해 캐시 사용량을 줄였으며, 회귀 예측에서는 999개의 분위수를 출력해 단일 예측값과 불확실성 추정치를 함께 제공한다.

표의 행 수가 수만 개로 늘어나 어텐션 집중도가 흐려지는 현상을 방지하기 위해 길이 적응형 어텐션 온도 기법이 적용되었다. 소프트맥스 어텐션은 참조하는 키의 수가 많아지면 분포가 넓어지며 예측 정확도가 저하될 수 있다. 쿠모 태뷸러는 키 수의 로그 값에 비례하여 온도를 조절하고 각 어텐션 헤드마다 별도의 계수를 학습시켜 표가 길어지거나 넓어지더라도 어텐션의 선명도를 유지하도록 만들었다.

인공 데이터 사전 학습과 성능

쿠모 태뷸러의 사전 학습은 전적으로 구조적 인과 모델(SCM) 기반의 인공 데이터 생성기를 통해 진행되었다. 생성기는 크기와 결측 패턴, 복잡한 인과 그래프를 절차적으로 생성하며 노드 간에 선형 변환, 소형 신경망, 결정 트리, 가우시안 프로세스 등 다양한 무작위 함수를 적용해 현실 데이터의 숨겨진 원인을 모사한다. 이상치 조정과 결측치 주입뿐 아니라 동일한 특성값을 가지면서도 라벨이 일치하지 않는 현상까지 반영했으며, 약 100만 개의 인공 표를 사용해 1,024개 행부터 최대 60,000개 행까지 3단계에 걸쳐 학습을 확장했다.

공개된 벤치마크 평가에서 쿠모 태뷸러는 기존 모델들을 제치고 정확도와 연산 효율성 면에서 최상위 성능을 기록했다. 탭아레나(TabArena) 평가에서는 1950점의 일로(ELO) 점수로 종합 1위를 차지했으며 동일한 단일 그래픽 카드 환경에서 기존 리믹스2(LimiX-2) 모델 대비 17배 빠른 속도를 보였다. 또한 비욘드아레나(BeyondArena)에서 1위를 달성했고, 탤런트(TALENT) 평가의 분류 정확도와 회귀 오차 지표 및 스코어링벤치(ScoringBench)의 예측 분포 평가에서도 선두권을 유지했다.

개발자 영향과 적용 한계

개발자는 그래픽 처리 장치에 최적화된 전용 구조화 데이터 모델 오픈소스 라이브러리를 통해 별도의 학습 단계 없이 표 데이터 예측 파이프라인을 구축할 수 있다. 문맥 행의 키와 값 연산 결과는 최초 계산 후 재사용할 수 있어 대량 질의를 연속 처리할 때 효율적이다. 반복적인 특성 추출과 하이퍼파라미터 탐색 과정이 생략되므로 새로운 표 과제에 대한 초기 프로토타입 제작과 배포 주기를 단축할 수 있다.

실제 서비스에 도입할 때는 모델이 지원하는 데이터 형식과 동작 한계를 사전에 검토해야 한다. 수치형과 범주형 열만 기본 처리하므로 텍스트, 이미지, 타임스탬프 등은 사전에 전처리 규칙을 통해 특성으로 변환해야 한다. 단일 순방향 연산으로 처리 가능한 분류 대상은 최대 10개 클래스이며, 그 이상의 다중 클래스는 라이브러리가 제공하는 오류 정정 출력 코드로 확장해야 한다. 또한 질의 행의 데이터 분포가 문맥 행과 크게 다르거나 학습 범위를 벗어나는 경우 정확도가 떨어질 수 있어 배포 전 자체 데이터를 통한 성능 및 보정 검증이 요구된다.