TII, 아랍에미리트 방언과 문화 맥락에 특화된 언어 모델 Falcon-Emirati-7B 공개

방언 특화 모델 개발

기술혁신연구소(TII) 연구진이 아랍에미리트 방언과 현지 문화적 맥락에 특화된 언어 모델인 Falcon-Emirati-7B를 발표했다. 아랍어는 뉴스나 교재에서 쓰이는 현대 표준 아랍어(MSA)와 일상 대화에서 쓰이는 다양한 지역 방언 간의 격차가 매우 큰 언어군이다. 기존 언어 모델은 표준 아랍어 번역에는 능숙하지만 실제 구어 표현, 나바티 시, 관용구 등에 담긴 고유 의미를 파악하지 못하는 한계가 있었다.

Falcon-Emirati-7B는 이러한 공백을 해소하기 위해 현지 원어민이 구사하는 어휘, 어조, 문화적 맥락을 학습하도록 설계되었다. 텍스트를 기계적으로 직역하는 수준을 벗어나 아랍에미리트 현지 화자가 일상에서 소통하는 방식을 그대로 이해하고 생성하는 것을 목표로 삼았다.

하이브리드 기반 구조

이번 모델은 기존 아랍어 특화 모델군인 Falcon-H1-Arabic을 기반으로 구축되었다. 이 모델군은 상태 공간 모델(SSM)인 맘바(Mamba)와 트랜스포머의 어텐션 메커니즘을 블록 내부에서 병렬로 실행한 뒤 프로젝션 직전에 출력을 결합하는 하이브리드 아키텍처를 채택하고 있다. 긴 시퀀스를 선형 시간에 처리하는 맘바의 효율성과 장거리 의존성을 정밀하게 다루는 어텐션의 강점을 결합한 구조다.

기반 모델군은 30억, 70억, 340억 파라미터 규격과 최대 12만 8천 및 25만 6천 토큰의 문맥 창을 지원한다. 연구진은 방언 적응에 필요한 언어적 뉘앙스를 충분히 보존하면서도 학습 및 추론 비용을 실용적인 수준으로 유지하기 위해 70억 파라미터 모델을 기반으로 낙점했다.

데이터 파이프라인 구축

아랍에미리트 방언은 주로 구어로 사용되어 인터넷상에 텍스트 데이터가 부족하고 비유적 표현이 많아 학습 데이터 확보가 까다롭다. 연구진은 세 가지 상호보완적 데이터 파이프라인을 구축해 이 문제를 해결했다. 첫째로 표준어 번역물이 아닌 현지 웹사이트와 포럼에서 실제 화자들이 작성한 원본 방언 텍스트를 수집했다.

둘째로 에미리트 고유 관습, 가치관, 역사, 예절 등을 다룬 표준 아랍어 자료를 수집해 모델이 현지 주제에 대한 지식 배경을 갖추도록 했다. 셋째로 일상 대화 전반을 다루기 위해 방언 전용 사전과 문법 규칙으로 제어된 고품질 합성 데이터를 대규모로 생성해 데이터 공백을 채웠다.

벤치마크 및 평가 결과

모델 평가는 원어민 검수와 전용 객관식 벤치마크인 알리아(Alyah)를 통해 진행되었다. 총 1,173개 문항으로 구성된 알리아 평가에서 Falcon-Emirati-7B는 84.83%의 정확도를 기록해 비교 대상인 다른 아랍어 및 다국어 모델들을 앞질렀다. 거대 모델이라 하더라도 방언 특화 학습이 없으면 성능이 크게 하락한다는 점이 확인되었다.

또한 거대언어모델을 평가자로 활용한 개방형 생성 평가에서도 해당 모델은 질문의 방언에 맞춰 응답하는 방언 충실도 점수 0.52점을 기록했다. 경쟁 모델들이 0.05점 이하에 머물며 표준 아랍어로 회귀하는 현상을 보인 것과 대조적이다. 아랍 문화 이해도를 측정하는 아랍컬처-다이얼로그 평가의 UAE 시나리오에서도 85.57%의 최고 정확도를 나타냈다.

적용 권고와 한계

Falcon-Emirati-7B는 현지 채팅 서비스 환경에 도입되어 방언 중심 대화형 서비스 구축에 활용될 수 있다. 특히 문화적 이해도가 중요한 시적 표현, 은유, 현지 유산 관련 질의에서 높은 정확도를 발휘한다. 다만 일상 인사 범주에서는 표준 아랍어와 방언의 중복도가 높아 일반 아랍어 모델과의 격차가 크지 않았다.

원문 연구진은 학습 데이터의 편향이나 드물게 쓰이는 지역 표현, 데이터가 부족한 특수 사례에서 오류가 발생할 수 있음을 명시했다. 방언과 문화적 뉘앙스는 주관적인 영역이 존재하는 만큼, 민감하거나 공식적인 업무에 도입하기 전에는 특정 사용 환경에 맞춘 사전 검증을 진행할 것을 권고했다.