메타, 생성형 추천 시스템 위한 'GenRecs 토큰화' 도입

무엇이 어떻게 달라졌는가

메타는 광고 추천 시스템의 패러다임을 전환하기 위해 'GenRecs 토큰화(GenRecs Tokenization)'를 도입했다. 이 기술은 기존의 개별 광고 점수 매기기 방식에서 벗어나, 대규모 언어 모델(LLM) 아키텍처를 활용하여 광고 콘텐츠와 사용자 선호도를 동시에 추론하는 생성형 추천 시스템(Generative Recommenders, GenRecs)의 핵심 기반 데이터 표현 방식이다. GenRecs 토큰화는 모든 아이템에 전용 ID를 유지하는 대신, 안정적인 의미론적 어휘에서 가져온 토큰 세트로 각 아이템을 표현한다.

이 새로운 접근 방식은 메타의 생성형 광고 모델(GEM) 및 적응형 랭킹 모델과 결합되어 광고주를 위한 전환율을 0.35% 증가시키는 성과를 보였다. 이는 2026년 2월 메타 내부 데이터 측정 결과이다. GenRecs 토큰화는 광고, 제품, 서비스 등 시스템 내 모든 아이템 유형에 대해 검색(retrieval) 및 랭킹(ranking) 기능을 지원하며, 이를 통해 추천 시스템의 예측 방식을 근본적으로 개선한다.

변화의 배경과 맥락

기존 광고 추천 시스템은 주로 개별 광고 후보의 점수를 매기는 방식으로 작동했다. 그러나 이러한 방식은 사용자의 클릭 패턴에 의존하여 새로운 제품이나 광고에 대한 초기 학습이 어렵다는 한계가 있었다. 메타는 LLM에 내재된 '세계 지식(world knowledge)'을 활용하여 광고 매칭의 지능과 정확도를 높이고자 했다.

GenRecs 토큰화는 이러한 목표를 달성하기 위한 핵심 기술로, 언어 모델이 적은 수의 의미론적 토큰 어휘를 조합하여 어떤 개념이든 표현할 수 있도록 한다. 이는 모델이 이전에 상호작용 기록이 없는 새로운 아이템(예: 신규 출시된 '트레일 러닝화')에 대해서도 해당 카테고리에 대해 이미 학습한 지식을 적용할 수 있게 하여, '콜드 스타트(cold-start)' 문제를 해결하고 사용자 선호도를 더 깊이 이해하도록 돕는다. 이 기술은 새로운 엔티티로부터의 학습 가속화, 캠페인 간 인사이트 전이(cross-campaign transfer) 활성화, LLM 스케일링 이점 활용, 그리고 세계 지식 주입 등 여러 광고 활용 사례에서 추천 시스템의 성능을 향상시키는 독특한 기회를 제공한다.

구체적인 동작 방식과 수치

GenRecs 토큰화는 각 아이템을 처리하는 세 단계 파이프라인을 핵심으로 한다. 첫째, 각 아이템(텍스트 및 이미지 포함)을 사전 훈련된 멀티모달 모델이 읽고 세계 지식을 담은 임베딩(embedding)으로 인코딩한다. 둘째, 이 임베딩을 독립적인 부분 공간(subspaces)으로 분해한다. 셋째, 각 부분 공간을 코드북(codebook)의 항목에 매핑하여 양자화(quantizes)한다.

이 과정에서 아이템의 엔티티 및 특징 의미론에 따라 다양한 조합이 사용된다. 예를 들어, 많은 광고 표현의 경우 GenRecs 토큰화는 학습된 인코더, 잔여 분해(residual decomposition), 학습된 벡터 코드북, 그리고 토큰 매개변수화(token parametrization)를 결합한 프리픽스 n-그램(prefix n-grams)을 활용한다. 유사한 아이템은 토큰을 공유하여, 예를 들어 지난 시즌의 러닝화 광고와 이번 시즌의 러닝화 광고가 겹치는 토큰을 통해 새로운 캠페인이 즉시 이전 시즌 제품에서 학습된 지식을 활용할 수 있다.

토크나이저 모델의 품질은 다운스트림 랭킹 정확도와 독립적으로 평가될 수 있다. 평가 지표로는 클러스터 순도(cluster purity, 동일 코드를 공유하는 아이템이 동일 카테고리를 공유하는 정도), 분포 균형(distribution balance, 아이템이 몇몇 ID에 몰리지 않고 의미론적 ID에 고르게 분포하는 정도), 코드북 활용도(codebook utilization, 더 많은 코드가 최소 하나의 아이템을 포함하여 어휘가 더 많은 구별을 표현하는 정도)가 있다. 메타는 테스트한 8가지 토크나이저 버전에서 이러한 내재적 품질 지표와 광고 모델의 CTR 예측 정확도 사이에 강한 상관관계를 확인했다.

개발자 및 사용자 영향

GenRecs 토큰화는 광고주에게 직접적인 성능 향상을 제공한다. 2026년 2월 측정된 데이터에 따르면, 이 기술은 전환율을 0.35% 높였다. 이는 새로운 광고, 틈새 제품, 참여도가 낮은 페이지와 같은 새로운 엔티티로부터의 학습을 가속화하여 관련성을 추론하고 공유된 개념을 통해 관계를 설정할 수 있도록 돕기 때문이다.

또한, 의미론적 토큰화는 안정적인 어휘를 생성하여 광고주가 캠페인 간에 인사이트를 전이할 수 있도록 한다. 이는 노출 수가 적은 '테일 광고(tail ads)'의 경우, 공유된 콘텐츠 구조를 통해 모델이 일반화할 수 있게 하여 콜드 스타트 성능을 회복하고 엔티티 간 전이를 가능하게 한다. 예를 들어, 스포츠웨어 브랜드가 다음 시즌 트레일 러닝화를 출시할 때, 토큰화는 새로운 제품과 광고가 모델이 지난 시즌 신발에서 학습한 지식을 기반으로 즉시 이점을 얻도록 한다.

이러한 테일 광고 예측 품질의 개선은 단순히 테일 광고의 정확한 랭킹을 가능하게 할 뿐만 아니라, 훈련 데이터를 풍부하게 하여 모든 광고의 예측 품질을 향상시키는 '복합 피드백 루프(compounding feedback loop)'를 생성한다. 이 자체 강화적인 순환을 통해 모델 예측의 품질이 지속적으로 개선된다. 또한, 토큰화는 시퀀스 길이, 훈련 데이터, 모델 아키텍처 측면에서 스케일링 곡선을 유연하게 만들어 프로덕션 랭킹 및 검색 전반에 걸쳐 새로운 스케일링 방식을 제공한다.

적용 조건과 향후 계획

메타는 GenRecs 토큰화의 투자 수익률(ROI) 최적화를 위해 세 가지 방향으로 노력을 지속하고 있다. 첫째, '콜드 스타트 일반화(cold-start generalization)'를 심화하는 것이다. 의미론적 토큰이 가장 크게 기여하고 광고주 영향이 가장 큰 테일 광고 인벤토리에서, 메타는 모든 아이템에 대한 토큰화 적용 범위를 확장하여 광고주에게 더 나은 성능을 제공하고자 한다.

둘째, 토크나이저 품질을 최우선 목표로 삼는 것이다. 참여도에 맞춰 정렬된 훈련(engagement-aligned training), 통합된 엔티티 간 어휘(unified cross-entity vocabulary), 코드북 개선 등이 활발한 투자 영역이다. 내재적 품질 측정 지표가 다운스트림 랭킹 이득을 예측하기 때문에, 전체 모델 훈련 주기를 기다리지 않고 토크나이저를 반복적으로 개선할 수 있다.

셋째, LLM-네이티브 아키텍처를 효율적으로 서비스하는 것이다. 완전히 언어화된 토큰화(fully verbalized tokenization)는 광고에 대한 가장 풍부한 시각을 모델에 제공하지만, 광고 규모에서는 비실용적인 컨텍스트 윈도우(context windows)를 필요로 한다. 메타는 추론 품질을 유지하면서 허용 가능한 지연 시간을 유지하기 위해 압축된 언어화된 토큰과 의미론적 ID를 결합하는 방안을 모색하고 있다.

장기적으로는 현재 광고 랭킹을 개선하는 동일한 어휘가 다양한 표면(텍스트, 이미지, 오디오, 비디오)에 걸쳐 표현을 통합할 수 있는지 탐색하고 있다. 공유된 토큰 공간은 모델이 사람이 무엇에 관심이 있고 광고주가 무엇을 제공하는지 하나의 표현으로 추론할 수 있게 하여, 개별적으로 학습된 임베딩을 결합하는 방식보다 효율적일 것으로 기대한다. 추천 시스템이 판별적 점수 매기기에서 생성적 추론으로 진화함에 따라, 데이터 기반 역시 일시적인 ID에서 안정적인 의미론적 표현으로 진화하는 이점을 얻는다. GenRecs 토큰화는 이러한 진화의 기반을 제공한다.