엔비디아, 네모트론 3.5 ASR 사우디 아랍어 방언 미세 조정 워크플로 공개

네모트론 3.5 ASR, 방언 적응성 강화

엔비디아가 네모트론 3.5 ASR(자동 음성 인식) 모델을 사우디 아랍어 방언에 맞게 미세 조정하는 새로운 워크플로를 공개했다. 이 워크플로는 나지디(Najdi)와 히자지(Hijazi) 방언에 대한 모델의 성능을 향상시키면서, 기존에 학습된 다른 언어의 인식 능력은 유지하는 것을 목표로 한다.

기존 다국어 ASR 모델은 방대한 데이터로 사전 학습되더라도 지역 방언이나 특정 녹음 환경에서는 성능이 저하될 수 있다. 이번 미세 조정 방법은 이러한 문제를 해결하여 실제 배포 환경에서의 유용성을 높인다.

이 과정은 저자원 코퍼스 큐레이션, 가중치 리플레이 믹싱, 효율적인 배치 처리, 독립적인 평가 데이터셋을 통한 전사 품질 평가 등으로 구성된다.

변화의 배경과 핵심 기술

ASR 시스템은 사람들이 실제로 사용하는 언어와 방언을 처리해야 하지만, 사전 학습 데이터는 주로 표준 언어나 지배적인 스타일을 반영하는 경향이 있다. 이로 인해 사우디 아랍어와 같은 특정 지역 방언은 충분히 표현되지 못해 배포 시 어려움을 겪는다.

단순히 대상 방언으로만 미세 조정할 경우, 모델이 기존에 학습한 다른 언어에 대한 지식을 잊어버리는 '치명적인 망각(catastrophic forgetting)' 현상이 발생할 수 있다. 엔비디아 네모트론 3.5 ASR은 40개 언어-지역에 걸쳐 다국어 스트리밍 전사를 지원하지만, 배포 환경에 특화된 방언과 녹음 조건에는 여전히 미세 조정이 필요하다.

이번 워크플로는 이러한 문제를 해결하기 위해 최소한의 큐레이션, 리플레이 믹싱, 부분 인코더 동결 해제, 길이 기반 버킷팅 등 여러 기술을 통합하여 모델이 새로운 방언을 학습하면서도 기존 능력을 보존하도록 설계되었다.

구체적인 미세 조정 과정과 결과

미세 조정은 먼저 대상 코퍼스를 큐레이션하는 단계부터 시작한다. 사우디 아랍어 실험에서는 나지디와 히자지 방언을 선택하고, 모델이 학습할 수 없는 'غيرواضح'(들리지 않는 음성)과 같은 주석이나 정렬 오류가 있는 클립을 제거했다. 최소 0.5초, 최대 30.0초 길이, 문자율 1.5~35.0 범위 밖의 클립도 제외했다.

엔비디아 네모 큐레이터(NeMo Curator)를 사용하여 오디오를 표준화하고, UTMOS(≥ 1.25) 및 SIGMOS(노이즈 ≥ 1.5, 전체 ≥ 1.5) 필터를 적용하여 품질이 저하된 클립을 걸러냈다. 이 과정을 통해 초기 125,490개 발화 중 103,559개(133.7시간, 82.5%)의 유효한 데이터를 유지했다.

다음으로, 모델이 새로운 방언을 학습하는 동안 기존 언어 능력을 잊지 않도록 '리플레이 믹싱' 기법을 적용했다. 전체 학습 데이터의 90%를 사우디 아랍어 방언으로 구성하고, 나머지 10%를 FLEURS 데이터셋의 영어(7%)와 아랍어(3%)로 채워 혼합 학습을 진행했다.

또한, 효율적인 학습을 위해 '길이 기반 버킷팅(duration-based bucketing)'을 사용했다. 이는 유사한 길이의 발화를 같은 배치로 묶어 패딩(padding)을 줄이고 스트리밍 인코더의 학습 효율성을 높이는 방법이다. `use_bucketing`을 `True`로 설정하고 `num_buckets`를 30, `batch_duration`을 400.0으로 지정했다.

이러한 세 가지 변경 사항을 적용한 결과, 12,000단계 학습(두 대의 GPU로 약 4.5시간 소요) 후 SADA 나지디+히자지 방언의 WER(단어 오류율)은 55.05%에서 29.96%로, CER(문자 오류율)은 31.63%에서 12.18%로 크게 개선되었다. 동시에 FLEURS 영어 WER은 11.04%에서 10.42%로, FLEURS 아랍어 WER은 12.67%에서 11.41%로 소폭 개선되거나 유지되어 다국어 성능 저하 없이 방언 특화에 성공했다.

인코더 적응 깊이 및 디코딩 최적화

모델의 24개 인코더 레이어 중 얼마나 많은 부분을 업데이트할지 결정하는 '적응 깊이'도 중요한 요소다. 전체 미세 조정은 모든 레이어를 업데이트하지만, 부분 동결은 음향 적응을 제한한다. 실험에서는 상위 6개, 상위 8개, 그리고 전체 24개 레이어를 업데이트하는 경우를 비교했다.

134시간의 충분한 학습 데이터가 있을 때는 전체 24개 인코더 레이어를 업데이트하는 것이 가장 좋은 성능(SADA WER 29.96%)을 보였다. 이는 상위 8개 레이어만 업데이트했을 때의 32.32%보다 2.4%포인트 더 낮은 수치다. 데이터 양이 적거나 메모리 제약이 있을 때는 부분 동결이 더 적합한 선택일 수 있다.

학습 외에 추론 단계에서도 성능을 개선할 수 있는 방법이 제시되었다. '더 큰 어텐션 컨텍스트(attention context)'를 사용하면 재학습 없이도 정확도를 높일 수 있다. 스트리밍 기본값인 [56, 3] 대신 [56, 13]과 같이 더 넓은 미래 프레임을 참조하도록 설정하면 WER이 1.31%포인트 감소했다. 다만, 이는 약 800ms의 추가 지연 시간을 발생시킨다.

'빔 서치(beam search) 디코딩'도 정확도 향상에 기여한다. NeMo의 `malsd_batch` 전략을 사용했을 때, 빔 크기 4는 SADA WER을 29.96%에서 28.81%로 줄였고, 빔 크기 8은 28.62%까지 개선했다. 빔 크기 4가 속도와 정확도 사이에서 가장 좋은 균형을 제공했다. 또한, `strip_lang_tags=True` 설정을 통해 로케일 태그가 텍스트로 인식되어 오류로 처리되는 것을 방지할 수 있다.

개발자와 사용자에게 미치는 영향 및 적용 조건

이 워크플로는 개발자가 네모트론 3.5 ASR 모델을 특정 저자원 방언이나 도메인에 맞게 효과적으로 조정할 수 있도록 지원한다. 이는 다국어 ASR 시스템의 유연성과 적용 범위를 넓혀 다양한 언어 환경에서 더 정확하고 유용한 음성 인식 서비스를 제공할 수 있게 한다.

사용자는 지역 방언에 대한 ASR 정확도 향상으로 인해 더욱 자연스럽고 편리하게 음성 인식 기술을 활용할 수 있다. 특히, 회의, 인터뷰, 콜센터, 교육 환경 등 다중 화자 환경에서는 최근 출시된 엔비디아 네모트론 3 화자 분리(Diarization) 모델과 결합하여 화자별로 구분된 전사본을 생성할 수 있다.

이 워크플로는 충분한 양의 레이블링된 음성 데이터가 있어 ASR 모델을 특화할 수 있지만, 처음부터 모델을 학습시킬 만큼은 충분하지 않을 때 유용하다. 방언 적응, 도메인별 전사, 기존 언어 유지가 필요한 배포 환경에 적합하다.

그러나 이 방법론이 모든 아랍어 방언이나 모든 배포 환경에 일반화될 수 있는 것은 아니다. 리플레이 데이터는 유지해야 할 능력을 대표해야 하며, 부분 동결은 데이터 믹스가 변경될 때 재조정이 필요하다. 또한, 더 큰 어텐션 컨텍스트는 배치 전사와 같이 지연 시간이 허용되는 시나리오에 적합하며, 실시간 자막과 같은 초저지연 환경에는 부적합할 수 있다. 다른 언어에 적용할 때는 코퍼스 메타데이터, 전사 규칙, 정규화, 토크나이저 범위, 스크립트 처리 등 언어별 특성을 고려한 조정이 필요하다.