깃허브, 컨텍스트 인식 기반 비밀 정보 탐지 모델 도입으로 정확도 및 효율성 향상

새로운 비밀 정보 탐지 시스템의 변화

깃허브는 2026년 10월 13일, 비밀 정보 탐지 시스템의 정확도와 효율성을 대폭 개선한 새로운 모델을 도입했다고 발표했다. 이 변화의 핵심은 기존의 LLM(대규모 언어 모델) 기반 파이프라인을 대체하는 2단계 파이프라인과 컨텍스트 인식 분류기이다.

새로운 시스템은 정규식(regex) 기반의 후보군 생성 단계와 ModernBERT 기반의 컨텍스트 인식 분류 단계를 결합하여 실제 비밀 정보를 더 정확하게 식별하고 오탐(false positive)을 줄이는 데 중점을 둔다. 특히, 이 효율성 개선을 통해 푸시 보호(push protection) 기능에 일반 비밀 정보 탐지를 확장 적용할 수 있게 되어, 개발자가 코드를 푸시하기 전에 잠재적인 비밀 정보를 감지하고 해결할 기회를 제공한다.

변화의 배경 및 필요성

비밀 정보 탐지는 실제 자격 증명을 놓치지 않으면서도 개발자에게 불필요한 알림을 주지 않는 균형을 맞추는 것이 중요하다. 특히 일반 비밀 정보는 빌드 식별자, 체크섬, 자산 해시, 샘플 값 등 민감하지 않은 문자열과 구문이 겹치는 경우가 많아 탐지가 어렵다. 이러한 경우 맥락(context)이 결정적인 신호로 작용한다.

이러한 '하드 네거티브(hard negative)' 사례, 즉 자격 증명 패턴과 일치하지만 실제 사용 가능한 자격 증명이 아닌 문자열(예: 문서 플레이스홀더, 테스트용 예시, 수정된 값)은 순수 규칙 기반 시스템으로는 실제 비밀 정보를 놓치지 않으면서 억제하기 어렵다. 깃허브는 이러한 문제에 대응하기 위해 주변 코드와 텍스트의 맥락을 이해하여 실제 비밀 정보와 오탐을 구분할 수 있는 학습된 분류기의 필요성을 인식하고 새로운 모델을 개발했다.

구체적인 동작 방식 및 성능 지표

새로운 비밀 정보 탐지 파이프라인은 두 가지 주요 단계로 작동한다. 첫째, '후보군 생성' 단계에서는 정규식 필터가 높은 재현율(recall)로 잠재적인 비밀 정보를 빠르게 식별한다. 이 단계는 광범위한 자격 증명 유사 패턴을 신속하고 결정적으로 포착하도록 최적화되어 있다.

둘째, '컨텍스트 인식 분류' 단계에서는 미세 조정된 ModernBERT 분류기가 각 후보군과 그 주변 맥락(파일 경로, 비밀 정보 유형, 변수 이름, 주변 코드 또는 텍스트)을 평가한다. 이 분류기는 플레이스홀더 값, 예시, 문서 스니펫, 생성된 콘텐츠, 비민감 식별자 등 실제 비밀 정보와 오탐을 구분하는 신호를 인식하도록 훈련되었다. 이 모델은 작고 효율적이어서 깃허브의 추론 인프라에서 실행하기에 적합하며, 기존 LLM 기반 파이프라인 대비 서비스 비용을 98% 이상 절감한다.

성능 평가 결과, 새로운 파이프라인은 기존 LLM 기반 파이프라인과 비교하여 중앙값 푸시 후 스캔 실행 시간을 86% 단축했다. 또한, 저장소 소유자 가중치 기반 알림 수용률은 11.5% 증가하여 오탐 감소 효과를 입증했다. 오프라인 평가에서는 푸시 후 스캔에서 13% 더 높은 정밀도(precision)와 19% 더 높은 재현율을 달성했다.

개발자 및 사용자에게 미치는 영향

새로운 비밀 정보 탐지 모델 도입은 개발자와 보안 팀에 여러 긍정적인 영향을 미친다. 첫째, 오탐 감소로 인해 개발자들이 불필요한 알림을 조사하는 데 드는 시간을 절약할 수 있다. 둘째, 푸시 보호 기능의 강화로 비밀 정보가 저장소에 커밋되기 전에 감지되므로, 개발 워크플로우 초기에 문제를 해결할 수 있어 보안 취약점 발생 가능성을 낮춘다.

셋째, 더 많은 실제 비밀 정보를 포착함으로써 전반적인 보안 수준이 향상된다. 마지막으로, 운영 비용 절감은 깃허브가 비밀 정보 탐지 범위를 지속적으로 확장하고 개선할 수 있는 기반을 마련한다. 이는 커밋, 풀 리퀘스트 및 일상적인 개발 워크플로우에서 비밀 정보가 유출될 가능성이 가장 높은 지점에서 더 빠르고 정확한 피드백을 제공한다.

적용 조건, 제약 및 향후 계획

깃허브의 새로운 비밀 정보 탐지 시스템은 정규식의 속도와 광범위한 후보군 커버리지, 그리고 ModernBERT의 학습된 컨텍스트 이해 및 오탐 감소 능력을 결합한 하이브리드 접근 방식의 강점을 보여준다. 이는 특정 제품 제약 조건 하에서 단독 접근 방식보다 우수한 성능을 발휘한다.

깃허브는 모델 크기가 모델의 유용성과 동일하지 않다는 점을 강조하며, 작업이 명확하고 결정 경계가 측정 가능하며 서비스 효율성이 중요한 경우 더 작고 미세 조정된 분류기가 적합하다고 설명한다. 훈련된 모델은 빠른 추론을 위해 8비트 양자화된 ONNX 형식으로 내보내진다.

향후 깃허브는 생산 피드백 루프를 활용하여 새로운 오탐 및 미탐(false negative) 사례를 식별하고, 이를 고품질 훈련 및 평가 데이터로 전환하는 '지속적인 개선 플라이휠'을 구축할 계획이다. 또한, 파이프라인 복잡성을 줄이면서 정확도와 확장성을 유지하는 단일 단계 비밀 정보 탐지 및 추출 모델 아키텍처를 탐색할 예정이다.