AstaBrief, 과학 보고서 생성을 위한 고속 오픈소스 모델 공개

무엇이 어떻게 달라졌는가

Ai2Comms는 과학 연구 보고서 생성을 위한 AstaBrief 8B 모델과 해당 훈련 데이터를 오픈소스로 공개했다. AstaBrief는 연구 질문과 검색된 문헌 발췌문을 기반으로 인용이 포함된 보고서를 생성하는 데 특화된 모델이다. 이 모델은 Asta 플랫폼의 '보고서 생성' 기능에 '고속 모드(Fast mode)'로 통합되어, 기존 '사고 모드(Thinking mode)'와 함께 사용자에게 제공된다.

AstaBrief의 핵심적인 변화는 보고서 생성 시간의 대폭 단축이다. 전체 Asta 파이프라인에서 고속 모드는 보고서당 평균 51.1초가 소요되어, 사고 모드의 178.5초 대비 약 3.5배 빠른 성능을 보인다. 이러한 속도 향상은 보고서 전체를 한 번에 작성하는 방식으로 파이프라인을 재설계하여 달성되었다.

변화의 배경과 맥락

과학 연구 분야에서는 언어 모델에 대한 특별한 요구 사항이 존재한다. 답변은 반드시 증거에 기반해야 하며, 증거가 실제로 뒷받침하는 범위를 벗어나지 않아야 하고, 연구자들은 최종 결과물을 검증할 수 있어야 한다. Asta 플랫폼 사용자들은 단순한 키워드 검색을 넘어 특정 방법론, 연구 대상 집단, 또는 설정 등을 고려하여 문헌을 비교하는 등 상당한 맥락과 제약을 포함한 쿼리를 자주 사용한다.

또한, 생성된 보고서를 일회성 답변이 아닌 지속적인 연구 작업의 결과물로 활용하는 경향이 있다. Ai2Comms는 이러한 과학자들의 요구를 충족시키기 위해, 인용된 보고서를 더 빠르게 생성하고 연구자들이 모델을 직접 다운로드하여 자체적으로 실행할 수 있도록 AstaBrief를 개발했다. 목표는 소규모 오픈 모델이 독점 모델과 유사한 보고서 품질을 유지하면서도 생성 시간과 서비스 비용을 절감할 수 있는지 검증하는 것이었다. Ai2는 NSF OMAI 이니셔티브를 통해 과학적 발견을 위한 개방형 AI 인프라 및 모델 구축을 위한 광범위한 노력을 기울이고 있다.

구체적 동작, 수치, 설정

AstaBrief 8B 모델은 Qwen3-8B를 기반으로 개발되었으며, 주로 후처리 데이터, 평가, 그리고 보고서 생성 스캐폴딩에 집중하여 훈련되었다. 훈련 파이프라인은 지도 미세 조정(SFT)과 직접 선호도 최적화(DPO) 방식을 사용했다. SFT 데이터 수집을 위해 실제 사용자 쿼리 9만 건을 활용했으며, ScholarQA 파이프라인을 통해 Claude 3.5 Sonnet, Claude 3.7 Sonnet, o3, o4-mini, GPT-4.1 등 다양한 독점 시스템을 조합하여 4만 7천 건의 훈련 예제를 생성했다.

DPO 데이터셋은 SFT에 사용되지 않은 별도의 쿼리 하위 집합에서 구축되었다. ScholarQA 파이프라인(주로 Claude 3.5 또는 3.7 Sonnet 기반)에서 생성된 보고서와 o3, o4-mini, DeepSeek-V3, DeepSeek-R1 등 다른 모델에서 생성된 경쟁 보고서를 쌍으로 구성했다. GPT-4.1과 DeepSeek-R1 두 심사 모델이 각 쌍을 비교하여 선호하는 보고서를 선택했으며, 인간 선호도와 95% 일치하는 심사 모델의 동의가 있는 6천 건의 예제만 최종 DPO 데이터셋으로 사용했다.

AstaBrief는 기존 사고 모드와 달리 스니펫 요약 및 클러스터링 단계를 건너뛰고 보고서 전체를 한 번에 생성하도록 훈련되어 속도 향상을 이루었다. 개발 과정에서 SQABench-CS2 벤치마크를 사용하여 루브릭 점수, 답변 정확도, 인용 정확도, 인용 재현율 등 네 가지 지표를 추적했다. 특히 인용 밀도가 낮은 합성 보고서를 필터링하는 것이 보고서 품질 향상에 가장 효과적이었다. AstaBrief의 초기 사용 통계에 따르면, 374명의 Asta 사용자 중 29.1%가 2일 이상 고속 모드를 사용했으며, 평균 3.67개의 보고서 스레드를 생성했다. 23%의 사용자는 고속 모드를 계속 사용하며 사고 모드로 전환하지 않았고, 18%는 목표에 따라 두 모드를 전환하며 스레드의 약 40%에 고속 모드를 활용했다. 고속 모드의 긍정적인 피드백 비율은 84.2%로, 사고 모드의 85.2%와 유사한 수준을 보였다.

개발자·사용자 영향

AstaBrief의 오픈소스 공개는 과학 연구자들에게 인용 기반 보고서 생성 과정을 크게 가속화하는 이점을 제공한다. Asta 플랫폼 내에서 '고속 모드'를 통해 즉시 이용 가능하며, 연구자들은 초기 보고서를 신속하게 얻어 후속 반복 작업에 활용할 수 있다. 특히, 모델 가중치가 공개됨에 따라 기관들은 AstaBrief를 자체 인프라에 배포할 수 있게 되어, 민감하거나 미공개 연구 작업에 대한 데이터 보안 및 프라이버시를 유지하면서 보고서 생성 기능을 활용할 수 있다.

개발자 및 연구 기관의 관점에서는 AstaBrief 모델과 훈련 데이터가 공개되어, 이를 기반으로 추가 연구, 재현, 그리고 특정 과학 작업 요구 사항에 맞춘 모델 개발이 가능해진다. 또한, 자체 PDF 문서에서 보고서를 생성할 수 있는 예제 워크플로우가 제공되어 로컬 환경에서의 보고서 생성 시작점을 제공한다. 이는 독점 모델 API에 대한 의존도를 줄이고, Asta 보고서 생성 파이프라인의 특정 부분을 직접 연구하고 개선할 수 있는 유연성을 제공한다.

적용 조건, 제약 및 한계

AstaBrief의 훈련 및 평가는 대부분 2025년에 완료되었으며, 비교에 사용된 독점 모델들은 당시의 최첨단 기술을 반영한다. 따라서 현재의 최신 모델들과의 전면적인 비교 평가는 재실행되지 않았으므로, 제시된 결과는 특정 훈련 및 시스템 설계 선택에 대한 유효성 검증으로 해석하는 것이 적절하다. 과학적 보고서 생성에서 중요한 한계점은 모델이 올바른 연구를 인용하더라도, 원본 연구가 실제로 뒷받침하는 것보다 더 강한 주장을 할 수 있다는 점이다.

예를 들어, 특정 샘플에 대한 발견을 전체 모집단에 대한 일반적인 주장으로 확대하거나, 과거 시제의 결과를 현재 시제의 보편적 진술로 바꾸거나, 서술적 발견을 권고 사항으로 변환하는 등의 미묘한 방식으로 증거의 범위를 확장할 수 있다. 개발 과정에서 사용된 평가 지표는 주로 관련성, 범위, 인용 근거에 중점을 두었으나, 보고서가 출처의 주장 범위와 강도를 보존하는지 여부에 대한 더 심층적인 평가가 필요하다는 점이 언급되었다.

AstaBrief는 Asta 에이전트 보고서 생성 프레임워크의 일부로 작동하도록 설계되었으며, 독립형 모델로서의 성능보다는 파이프라인 내에서의 효율성과 품질 유지가 주된 목표였다. 향후 Ai2Comms는 더 세분화된 선호도 학습, 강력한 RAG(Retrieval-Augmented Generation) 및 RL(Reinforcement Learning) 접근 방식, 다중 턴 및 다중 도구 기능, 추가 과학 데이터 소스, 쿼리 분해 등을 탐색할 계획이다. 주장이 인용을 뒷받침하는지 여부를 넘어 모델이 증거적 범위를 보존하는지 평가하는 데 관심이 있다.