클라우드플레어, 검증된 봇의 지속적인 신뢰도 평가 시스템 도입

검증된 봇 신뢰 평가 시스템 도입

클라우드플레어는 '검증된 봇(Verified Bot)'의 행동을 지속적으로 평가하고 보고하는 새로운 시스템을 도입한다고 발표했다. 이 시스템은 봇의 신원 확인을 넘어, 봇이 웹사이트의 선호도를 존중하고 악의적인 행동을 하지 않는지 지속적으로 검증하여 신뢰를 유지하는 데 초점을 맞춘다. 이는 봇이 '자신이 누구인지'를 확인하는 것과 더불어 '신뢰할 수 있는지'에 대한 질문에 '그렇다'고 답할 수 있도록 보장하는 것을 목표로 한다.

새로운 시스템은 봇의 행동을 관찰하고, 이러한 관찰 결과를 '설명 가능한 신뢰 구간(explainable trust band)'으로 변환한다. 이 신뢰 구간은 봇이 웹사이트 선호도를 얼마나 일관되게 존중하는지, 그리고 어떤 행동이 이러한 평가에 영향을 미쳤는지를 보여준다. 클라우드플레어는 이 시스템을 통해 책임감 있는 봇 운영자가 시간이 지남에 따라 신뢰를 유지하고 있음을 입증할 수 있는 방법을 제공한다.

변화의 배경과 신뢰의 중요성

클라우드플레어는 기존에 봇을 검증하기 위해 '정확하고 안전하게 신원을 밝히는지', '명시한 대로만 행동하는지', '악의적인 행동을 하지 않는지' 세 가지 기준을 제시해왔다. 봇은 웹 봇 인증(Web Bot Auth)을 사용하여 요청에 서명하고, 봇베이스(BotBase)는 이를 개방형 형식으로 분류한다. 그러나 신원 확인만으로는 봇의 미래 행동을 보장할 수 없다는 인식이 이번 시스템 도입의 배경이 되었다.

회사는 '위험(risk)'과 '신뢰(trust)'를 구분한다. 위험은 특정 요청이나 순간적인 행동이 해로울 가능성을 의미하며 시시각각 변할 수 있다. 반면 신뢰는 반복적이고 일관된 행동을 통해 시간이 지남에 따라 구축된다. 예를 들어, 2025년 퍼플렉시티(Perplexity)의 봇은 스크래핑을 거부한 웹사이트 리소스에 접근하려 하고 통제를 우회하려 시도하여 검증된 봇 목록에서 제외된 바 있다. 이는 신원 확인 이후에도 봇의 행동을 지속적으로 평가하는 것이 중요함을 보여주는 사례이다.

구체적인 평가 기준 및 동작 방식

이 시스템은 봇이 웹사이트 선호도를 얼마나 자주 존중하는지를 측정한다. 초기 평가 신호는 크게 두 가지이다. 첫째, 봇이 웹사이트의 지침을 존중하는지 여부이다. 이는 주로 robots.txt 파일을 통해 전달되는 웹사이트 소유자의 선호도를 봇의 관찰된 트래픽이 얼마나 일관되게 따르는지를 확인한다. 시스템은 고립된 위반보다는 웹사이트 선호도를 무시하는 반복적인 행동 패턴을 중점적으로 살핀다. RFC 9309에 따라 책임감 있는 봇은 웹사이트가 게시한 선호도를 참조하고 준수해야 한다.

둘째, 봇이 직접적인 피드백에 반응하는지 여부이다. 웹사이트가 HTTP 429('Too Many Requests') 응답을 통해 요청 속도를 줄이도록 지시했을 때, 봇 트래픽이 속도를 늦추거나 일시 중지하는 등 적응하는지를 평가한다. 일관되게 속도를 늦추거나 일시 중지하면 신뢰도가 높아지고, 신호를 반복적으로 무시하면 신뢰도가 낮아진다. 이러한 행동은 시간이 지남에 따라 봇의 신뢰 구간에 반영된다. robots.txt는 봇이 하지 말아야 할 최소한의 규칙을 설정하지만, 명시되지 않은 모든 것이 허용된다는 의미는 아니며, 다른 신호를 통해 지속적인 접근이 환영받지 못함을 전달할 때 봇은 중단해야 한다.

개발자 및 사용자에게 미치는 영향

이 시스템은 봇의 신원과 지속적인 행동 증거를 결합함으로써 웹사이트 소유자에게 더 큰 확신을 제공한다. 웹사이트 소유자는 허용한 봇이 자신의 선호도를 존중하는지 더욱 신뢰할 수 있으며, 자동화된 트래픽에 대한 맥락 정보를 얻을 수 있다. 봇 운영자는 시간이 지남에 따라 신뢰를 받을 자격이 있음을 입증할 수 있는 방법을 얻게 된다. 이는 궁극적으로 웹사이트 선호도가 의미를 유지하고, 신뢰가 지속적인 행동을 통해 얻어지도록 보장하는 데 기여한다.

이 시스템은 봇 선호도 동기화(Bot Preference Sync) 및 봇 관리(Bot Management)와 함께 자동화된 트래픽에 대한 책임 순환 고리(accountability loop)를 형성한다. 봇 선호도 동기화는 웹사이트 소유자가 자신의 선호도를 게시하도록 돕고, 봇 관리 기능은 웹사이트 소유자가 해당 트래픽을 어떻게 처리할지 결정할 수 있도록 한다. 이 세 가지 요소는 신뢰가 신원만으로 가정되는 것이 아니라 투명하고 책임감 있는 행동을 통해 얻어지도록 돕는다.

적용 조건 및 향후 계획

클라우드플레어는 이미 이 시스템을 내부적으로 사용하여 검증된 봇이 웹사이트 선호도를 얼마나 일관되게 준수하는지 평가하고 있다. 신뢰는 시간이 지남에 따라 구축되므로, 시스템은 고립된 이벤트보다는 지속적인 행동 패턴을 평가한다. 현재 초기 단계에서는 이러한 이력을 구축하고 관찰 결과가 유용한 지침으로 전환되는 방식을 개선하는 데 중점을 둔다.

이러한 기반 위에 클라우드플레어는 이 시스템을 모든 클라우드플레어 고객에게 제공할 계획이다. 고객은 검증된 봇 트래픽을 처리하는 데 사용될 신뢰 임계값(trust threshold)을 직접 선택할 수 있게 된다. 이는 웹사이트 선호도를 의미 있게 유지하고 지속적인 행동을 통해 신뢰를 얻도록 보장하려는 클라우드플레어의 목표를 반영한다.