리퀴드 AI, 비전 언어 모델 가속 초안 모델 출시

추론 가속 초안 모델 공개

인공지능 연구 기업 리퀴드 AI가 매개변수 30억 개 규모의 비전 언어 모델을 가속하는 실험적 초안 모델을 2026년 9월 24일 공개했다. 이번 모델은 기존 텍스트 모델 가속 방식에 이어 시각 언어 모델에도 투기적 디코딩 기법을 적용할 수 있도록 설계됐다.

새로운 초안 모델은 본래 모델의 출력 품질을 손상하지 않으면서 추론 속도를 크게 끌어올리는 데 중점을 둔다. 메모리 점유율 증가 폭을 최소화하여 단말기 환경과 고성능 연산 장치 모두에서 실용적인 추론 속도 개선을 유도한다.

아키텍처 및 학습 설계

초안 모델의 전체 매개변수는 약 2억 7950만 개로, 목표 모델 매개변수 대비 8.9% 증가하는 데 그친다. 구성 요소로는 본체 가중치 1억 9300만 개, 은닉 상태 투영 2100만 개, 마르코프 헤드 6550만 개, 정규화 및 신뢰도 헤드 6400개가 포함된다.

시각 패치와 텍스트 토큰은 특정 계층 통과 전에 동일한 공유 표현 공간으로 투영된다. 따라서 초안 모델은 입력 방식에 관계없이 동일한 차원의 벡터를 처리하며, 텍스트 모델과 동일한 추론 알고리즘을 사용한다.

연구진은 3개에서 5개 계층에 걸친 비교 실험을 거쳐 4개 계층의 어텐션 전용 구조와 블록 크기 9를 채택했다. 시각 언어 지도 미세조정 혼합 데이터를 바탕으로 10회 반복 학습을 진행했으며 하드웨어 환경에 따라 8 또는 9의 블록 크기를 권장한다.

단말기 및 연산 장치 성능

초안 모델의 성능 평가는 일반 시각 질의응답, 텍스트 질의응답, 이미지 캡셔닝, 차트 질의응답, 복합 추론, 다중 턴 대화 등 6개 시각 과제를 포함하는 벤치마크 환경에서 진행됐다. 단말기 환경과 대규모 연산 장치 환경 모두에서 블록 크기 8을 기준으로 측정했다.

온디바이스 환경에서 M5 맥스 프로세서를 사용한 경우 작업에 따라 디코딩 속도가 2.30배에서 3.13배 향상됐고 전 구간 지연 시간은 1.56배에서 2.62배 단축됐다. M3 울트라 환경에서는 디코딩 속도가 1.57배에서 2.14배 빨라졌으며 전체 지연 시간은 1.30배에서 1.77배 개선됐다.

고성능 가속기인 H100 GPU 환경에서도 가속 효과가 확인됐다. 해당 환경에서 디코딩 속도는 20.4배에서 2.66배 빨라졌으며 전 구간 지연 시간은 1.64배에서 2.27배 수준으로 단축됐다.

개발자 생태계 지원

리퀴드 AI는 주요 오픈소스 추론 프레임워크인 라마 씨피피, 엠엘엑스 브이엘엠, 에스지엘랭에서 해당 초안 모델을 즉시 구동할 수 있도록 지원한다. 개발자는 공개 가중치 허브에서 안전한 텐서 포맷 및 양자화 지원 포맷으로 모델 가중치를 내려받을 수 있다.

초안 모델이 제안한 후보 토큰은 목표 모델이 반드시 최종 검증하므로, 탐욕적 디코딩 기준 출력 결과는 목표 모델만 단독 실행했을 때와 완전히 일치한다. 응답 결과에는 제안된 토큰 수와 실제 채택된 토큰 수 정보가 함께 기록된다.

투기적 디코딩의 구조적 한계

비전 언어 모델은 텍스트 모델과 달리 이미지가 시각 인코더를 거친 뒤 수백 개의 시각 토큰이 언어 백본으로 전달되는 과정을 거친다. 따라서 초기 프롬프트를 처리하는 사전 채우기 단계의 연산 비중이 텍스트 모델보다 훨씬 크다.

투기적 디코딩은 토큰을 차례대로 생성하는 디코딩 단계만 가속하며 시각 인코딩과 사전 채우기 단계는 단축하지 못한다. 전체 작업 시간 중 앞선 단계들이 차지하는 비중이 큰 환경에서는 디코딩 속도가 대폭 개선되더라도 전체 실행 시간 단축 폭은 암달의 법칙에 따라 제한된다.