클라우드플레어와 OpenAI, AI 콘텐츠 발견 효율성 향상 연구 파일럿 결과 공개

AI 콘텐츠 발견의 새로운 지평

클라우드플레어와 OpenAI는 2026년 7월부터 AI 기반 콘텐츠 발견을 개선하기 위한 연구 파일럿을 진행했다. 이 협력은 AI 시스템이 웹상의 유용한 정보를 더욱 효율적으로 찾아내고, 이를 통해 ChatGPT 사용자들이 관련성 높고 시의적절한 콘텐츠를 접할 수 있도록 돕는 데 중점을 두었다.

파일럿의 초기 결과는 긍정적이다. 클라우드플레어 네트워크의 신호를 활용하여 OpenAI의 검색 인덱스에 이전에 알려지지 않았던 수억 개의 웹 페이지가 추가되었다. 이는 ChatGPT가 사용자 질문에 답변할 수 있는 정보원의 폭을 넓히는 중요한 진전이다.

변화의 배경과 필요성

사람들이 정보를 탐색하고 작업을 수행하기 위해 AI 시스템에 의존하는 경향이 증가하면서, 웹 콘텐츠의 '발견 가능성'은 새로운 의미를 갖게 되었다. 과거에는 검색 결과 페이지 상단에 노출되는 것이 중요했지만, 이제는 AI 시스템이 올바른 출처를 찾아 정보의 유용성을 이해하고 사용자를 연결하는 것이 핵심이다.

웹은 특정 모델의 세부 매뉴얼, 최신 여권 신청 요건, 지역 식당의 최신 메뉴와 영업시간 등 구체적인 정보로 가득하다. 이러한 페이지들은 다른 사이트에서 많이 링크되지 않더라도 사용자에게 매우 가치 있을 수 있다. 클라우드플레어와 OpenAI의 파일럿은 AI가 이러한 특정 정보를 효율적으로 찾아내고 정확하게 표현하며, 관심 있는 사용자를 해당 웹사이트로 유도하는 것을 목표로 한다.

구체적인 동작 방식과 성과

이 공동 파일럿은 클라우드플레어 전체 네트워크의 약 1%에 해당하는 참여 코호트를 활용했다. 클라우드플레어의 네트워크는 OpenAI의 검색 크롤러가 웹 전반에서 더 유용한 페이지를 발견하도록 돕는 신호를 제공한다. OpenAI는 이 신호를 바탕으로 페이지의 관련성과 유용성을 독립적으로 평가하고 순위를 매긴다. 이 과정은 발견 효율성과 정보 품질을 동시에 개선하는 피드백 루프를 형성한다.

연구를 통해 크롤러의 효율성을 저해하는 패턴에 대한 학습도 이루어졌다. 예를 들어, 존재하지 않는 파일을 반복적으로 요청하는 봇 트래픽, 거의 모든 주소를 홈페이지로 리디렉션하는 사이트, 동일한 콘텐츠의 복사본을 제공하는 주소 등을 식별하여 크롤러가 불필요한 작업을 수행하는 것을 방지한다. 이는 웹사이트 소유자의 부하를 줄이고 OpenAI의 검색 리소스가 유용한 정보에 집중되도록 돕는다.

또한, 잠재적으로 유해한 페이지를 식별하고 플래그를 지정하는 신호도 테스트 중이다. 공격자가 심은 가짜 로그인 양식과 같이 합법적인 사이트 내의 손상된 페이지를 도메인 전체가 아닌 해당 페이지에만 플래그를 지정하여 사용자를 보호하면서도 웹사이트 소유자에게 불이익을 주지 않는다. 초기 결과는 이러한 신호가 인덱스에서 제외되어야 할 페이지를 식별하는 데 효과적임을 시사한다.

개발자와 사용자에게 미치는 영향

이러한 개선은 사용자에게 ChatGPT를 통해 더 많은 유용한 콘텐츠를 발견하고 질문에 대한 답변을 얻을 수 있는 기회를 제공한다. ChatGPT는 관련 출처로 다시 연결하여 사용자가 원본 콘텐츠와 그 뒤에 있는 웹사이트 및 게시자를 탐색할 수 있도록 돕는다. OpenAI는 GPT-6 및 Intelligent UI와 같은 기술 발전을 통해 ChatGPT를 더욱 시각적이고 상호작용적인 경험을 제공하는 플랫폼으로 발전시키고 있으며, 이번 파일럿은 이러한 발전을 보완하여 ChatGPT가 웹에서 더 유용하고 최신 정보를 발견하도록 지원한다.

웹사이트 소유자에게는 AI 시스템을 통해 관심 있는 잠재 고객에게 도달할 새로운 기회가 열린다. 크롤러가 불필요한 페이지를 방문하지 않도록 필터링하고, 페이지 변경 신호를 통해 필요한 경우에만 재방문함으로써 웹사이트의 불필요한 부하를 줄일 수 있다. 이는 웹사이트 운영 비용 절감에도 기여한다.

적용 조건 및 향후 계획

이 연구는 웹에 대한 메타데이터를 검색 및 발견 목적으로 사용하며, 모델 훈련을 위해 페이지 콘텐츠를 공유하지 않는다. 도메인 소유자의 선택은 이 과정에서 중요하게 작용하며, 페이지에 대한 신호가 접근 권한을 부여하는 것은 아니다. 웹사이트 소유자는 클라우드플레어의 AI Crawl Control을 사용하여 AI 시스템이 자신의 웹사이트에 접근하는 방식을 이해하고 관리할 수 있다.

클라우드플레어와 OpenAI는 다음 단계에서 페이지 선택 개선, 더 빠르고 신뢰할 수 있는 변경 신호 테스트, 그리고 콘텐츠가 발견된 후의 결과 측정에 중점을 둘 예정이다. 또한, 더 나은 사이트 발견이 실제 비즈니스 결과로 어떻게 이어질 수 있는지 지속적으로 연구하고 그 결과를 공유할 계획이다.