엔비디아·AI4Bharat, 2.8조 토큰 규모 인도어 사전학습 말뭉치 및 생성 파이프라인 공개

대규모 인도어 말뭉치 공개

엔비디아는 인도 공과대학교 마드라스(IIT Madras) 산하 연구소인 AI4Bharat과 협력하여 약 2.8조 토큰 규모의 인도어 사전학습 말뭉치인 'Nemotron-pretraining-Indic-v1'과 이를 제작하는 데 쓰인 GPU 가속 데이터 생성 파이프라인을 함께 공개한다고 밝혔다. 이번에 구축된 데이터는 인도 헌법에 명시된 22개 공식 언어를 다루며, 이는 2011년 인구조사 기준 인도 국민의 97%이자 약 12억 명의 모어에 해당한다. 연구진은 데이터셋 자체뿐만 아니라 프롬프트, 언어모델 워크플로, 품질 검증 방식이 담긴 전체 제작 공정을 개방하여 모델 개발자가 자체 원문 자료에 맞춰 파이프라인을 확장할 수 있도록 했다.

전체 데이터셋은 젬마 4(Gemma-4) 토크나이저 기준으로 고유 문자 2조 6010억 토큰과 라틴 문자로 표기된 로마자 2246억 토큰으로 구성되어 총 34개 언어-문자 조합을 포괄한다. 벵골어, 힌디어, 타밀어 등 12개 언어는 고유 문자와 로마자 데이터를 모두 제공하며, 아삼어, 산탈리어, 산스크리트어 등 나머지 10개 언어는 고유 문자 데이터만 포함한다. 연구진은 로마자 데이터의 경우 단순 영어 번역이 아니라 인도어 텍스트를 라틴 알파벳으로 표기한 것으로서, 동일한 내용이라도 문자 체계 노출도를 다양화하는 데 기여한다고 설명했다.

합성 데이터 파이프라인 구성

데이터 생성 워크플로는 엔비디아의 오픈소스 합성 데이터 프레임워크인 'NeMo Data Designer'를 기반으로 웹 텍스트, 질의응답, 수학, 코드 등 15개 Nemotron-CC-v2 하위 데이터셋에서 추출한 문서를 인도어로 변환하는 과정을 거쳤다. 모든 출력 데이터는 원본 문서 식별자(ID)를 유지하도록 설계되어 데이터 출처를 추적하고 검증할 수 있다. 12개 언어 파이프라인에서는 Gemma-4-31B-it 모델을 번역과 품질 평가에 모두 활용하며, 코드, 수식, 주소 링크와 같은 기술적 서식은 보존하고 본문 산문만 번역하도록 프롬프트를 구성했다.

번역 후에는 다차원 품질 지표(MQM) 프레임워크를 기반으로 의미, 유창성, 용어, 문체, 서식을 평가하는 루브릭을 적용하여 100점 만점 중 75점 이상을 기록한 데이터만 1차로 채택했다. 기준 점수 미만의 결과물은 평가 피드백을 반영해 수정을 거친 뒤 재평가하는 구조를 도입했으며, 이 수정 과정을 통해 총 4384억 토큰을 추가로 확보했다. 로마자 데이터는 채택된 고유 문자 번역본을 라틴 문자로 변환한 뒤 원본과 대조 검증하는 2단계 방식을 취해 직역 시 발생하는 잔여 영어와 환각 현상을 억제했다.

소수 언어 맞춤 번역과 모델 검증

장문 처리 품질과 문자 안정성에 차이가 있는 나머지 10개 언어군에는 보단 AI(Bodhan AI)의 문서 번역 모델인 'Indic Translate'를 적용한 전용 워크플로를 구축했다. 산탈리어 장문 데이터의 경우 중첩 구간(Window) 분할 번역 후 문서를 재구성하는 방식을 적용했고, 마니푸리어는 벵골 문자 번역을 먼저 거친 뒤 고유 문자인 메이테이 마예크로 변환하는 우회 경로를 도입했다. 이들 10개 언어는 별도의 피드백 수정 과정 없이 75점 이상의 평가 기준을 통과한 고유 문자 번역본만 데이터셋에 반영했다.

사전학습 데이터의 효과를 검증하기 위해 연구진은 'Nemotron 3.5 Super VL' 모델의 지속 사전학습(CPT) 단계에 100억 토큰(전체 학습 예산 1000억 토큰 중 10%)의 인도어 합성 및 자연어 혼합 데이터를 투입했다. 그 결과 MILU, Indic MMLU-Pro, Indic GSM8K 등 보고된 5개 인도어 지식·추론 벤치마크 전반에서 기존 체크포인트 대비 4.98%p에서 9.82%p의 점수 향상이 나타났다. 이전 세대 모델과 비교한 최종 평가에서도 전반적인 작업 수행 능력과 언어 유창성, 문자 충실도 지표가 고르게 개선된 것으로 확인됐다.

적용 방안과 데이터 한계

개발자는 허깅페이스 데이터셋 라이브러리의 스트리밍 기능을 활용해 전체 말뭉치를 내려받지 않고도 언어·문자·지역 태그 기반으로 데이터를 추출해 사전 검토할 수 있다. 엔비디아는 오픈소스 플러그인 형태로 번역 프롬프트, 피드백 기반 재작성, 문서 분할 기능을 제공하므로 도메인 특화 데이터 생성에 즉시 재활용할 수 있다. 학습 혼합비를 구성할 때는 동일한 원문에서 파생된 복수 언어 레코드가 평가셋에 중복 포함되지 않도록 분할에 유의해야 한다.

연구진은 합성 데이터가 영어 원문 지식의 접근성을 넓혀주지만 원어민이 직접 작성한 고유 텍스트와 지역 문화적 맥락을 완전히 대체할 수는 없다고 밝혔다. 이에 따라 실제 모델 학습 시에는 합성 데이터와 검증된 자연어 인도어 데이터를 반드시 혼합해 사용할 것을 권장했다. 또한 12개 언어 워크플로에서는 번역 모델이 평가자 역할을 겸임하는 자동 평가 위주로 진행되었고, 중복 제거 역시 의미론적 유사도 검사가 아닌 식별자 기반 처리로 제한되어 있어 추가적인 원어민 검증이 필요하다는 점을 한계로 명시했다.