클라우드플레어, AI Gateway User Insights에 모델 과도 사용 식별 기능 추가

AI 모델 사용 분석 강화

클라우드플레어가 AI Gateway User Insights에 AI 모델 사용의 맥락을 이해하고 최적화할 수 있는 새로운 기능을 추가했다. 지난달 출시된 User Insights는 AI 사용량에 대한 기본적인 가시성을 제공했지만, 이번 업데이트는 모델 이름과 요청 수만으로는 파악하기 어려웠던 작업의 본질을 밝히는 데 중점을 둔다. 이제 팀은 특정 작업에 비해 모델이 과도하게 강력하게 사용되는 경우를 식별하고, 해당 사용자와 에이전트, 그리고 작업, 모델, 비용, 대화 패턴 간의 관계를 명확히 파악할 수 있다. 이 기능은 AI Gateway 사용자에게 무료로 제공되며, 함께 출시된 'Potential Savings' 뷰와 'Auto Router' (퍼블릭 베타)를 통해 비용 절감 및 효율성 향상을 지원한다.

이러한 변화는 AI 도입이 확산되면서 조직 내에서 흔히 발생하는 문제에 대응하기 위함이다. AI 트래픽 증가, 비용 상승, 요청 속도 저하 등의 문제가 발생할 때, 단순히 토큰 수나 요청 수만으로는 원인을 파악하기 어렵다. 개발자가 복잡한 코딩 작업을 위해 AI를 사용하거나, 에이전트가 과도한 후속 호출을 하거나, 소수의 사용자나 에이전트가 조직 전체 사용량의 불균형한 부분을 차지하는 등 다양한 원인이 있을 수 있다. 팀은 모델, 워크플로, 라우팅 규칙 변경을 결정하기 전에 트래픽이 나타내는 실제 의미를 이해할 필요가 있다.

모델 과도 사용 및 작업 유형 분석

새롭게 추가된 '모델 과도 사용(Model Overkill)' 뷰는 선택된 모델이 작업 요구사항보다 더 강력한 경우를 식별한다. 예를 들어, 사용자가 간단한 형식 지정이나 요약 요청에 고성능 추론 모델을 사용하는 패턴을 발견할 수 있다. 이 뷰는 어떤 사용자, 에이전트, 애플리케이션이 이러한 패턴과 관련되어 있는지 보여주며, 모델이 기본값으로 설정되었거나, 사용자가 모델 선택에 확신이 없거나, 에이전트가 모든 단계에 동일 모델을 사용하도록 구성된 경우를 파악하는 데 도움을 준다. 이 기능은 대체 모델을 자동으로 추천하지 않으며, 팀이 '이 모델이 작업에 적합한가?', '추가 기능이 결과 개선에 기여하는가?', '더 빠르거나 저렴한 모델이 동등한 결과를 낼 수 있는가?', '문제가 특정 워크플로, 사용자, 에이전트에 국한되는가?'와 같은 질문을 통해 최적의 결정을 내리도록 돕는다. 팀은 비용, 지연 시간, 토큰 사용량, 대화 턴을 비교하여 변경 사항을 결정할 수 있다.

또한 '작업 분석(Task Analysis)' 기능은 대화를 코딩, 연구, 글쓰기, 요약, 데이터 분석과 같은 초기 카테고리별로 그룹화하여 모델 이름 목록만으로는 알 수 없는 맥락을 제공한다. 이를 통해 엔지니어링 팀이 AI를 주로 코딩 및 디버깅에 사용하는 반면, 다른 팀은 연구 및 요약에 사용하는 것과 같은 팀별 사용 방식의 차이를 조사할 수 있다. 팀은 모델이 가장 적합한 작업에 사용되는지, 또는 기본 모델이 너무 광범위하게 적용되는지 판단할 수 있다. '턴 분석(Turns Analysis)'은 다양한 작업에 필요한 대화 턴 수를 보여주어, 간단한 작업이 여러 턴을 필요로 하는 경우 프롬프트, 모델, 워크플로를 검토할 가치를 제공한다. 작업 완료까지 소요된 시간, 토큰, 비용을 비교하여 워크플로가 예상보다 오래 걸리거나 비용이 더 드는 부분을 찾을 수 있다.

자동 라우팅 및 분류 메커니즘

User Insights에서 식별된 과도 사용 패턴은 'Auto Router'를 통해 자동 라우팅 결정으로 전환될 수 있다. Auto Router는 대화 궤적, 작업 카테고리, 작업 복잡성, 모델 적합성 신호를 사용하여 비용을 고려하며 요청을 적절한 모델로 자동 라우팅한다. 이는 모든 워크로드에 대해 별도의 라우팅 규칙을 만들 필요 없이, Auto Router가 애플리케이션에 사용 가능한 모델 중에서 선택하도록 한다. Auto Router는 가장 저렴한 모델로만 보내는 것이 아니라, 당면한 작업에 적합한 모델을 선택하여 복잡한 코딩이나 연구 작업에는 더 유능한 모델을, 간단한 작업에는 더 빠르거나 저렴한 옵션을 사용하도록 한다. Auto Router는 현재 클로즈드 베타로 제공된다.

User Insights의 트래픽 분류는 전용 Cloudflare Worker를 통해 비동기식으로 이루어진다. 이 Worker는 적격 AI Gateway 로그를 처리하며, 사용자 요청, 어시스턴트 응답, 도구 호출, 도구 결과 등 대화 궤적을 검사하여 작업 유형을 식별한다. 또한 신뢰도 점수를 반환하고 작업 복잡성, 의도 모호성, 중요도, 맥락 의존성과 같은 차원을 평가한다. 분류는 AI Gateway가 요청을 처리한 후 이루어지므로 사용자 응답에 지연 시간을 추가하지 않는다. 그러나 이로 인해 User Insights는 실시간 뷰가 아니며, 분석은 들어오는 트래픽보다 약 하루 정도 지연될 수 있다. 따라서 User Insights는 실시간 요청 활동 모니터링보다는 시간 경과에 따른 사용 패턴 식별에 적합하다.

개발자 및 사용자 영향

이러한 업데이트는 팀이 AI 모델의 과도한 사용을 식별하고, 어떤 사용자나 에이전트가 그러한 사용을 유발하는지, 그 뒤에 있는 작업이 무엇인지 이해하며, 작업 완료 비용을 비교하여 더 스마트한 선택을 할 수 있도록 돕는다. 이는 궁극적으로 비용 절감 및 성능 최적화 기회를 제공하며, 모델 선택의 불확실성이나 에이전트 구성 오류로 인한 비효율적인 모델 사용을 개선할 수 있다. 개발자는 `user_id` 및 `session_id`와 같은 안정적인 비민감성 식별자를 요청에 포함하여 사용량을 그룹화하고 상세한 분석을 활용할 수 있다.

AI Gateway는 ID 인식 기능을 제공하여 별도의 보고 파이프라인 구축 없이 사용자, 팀, 도구별로 작업 카테고리를 볼 수 있는 컨텍스트를 제공한다. 이는 자체 구축 애플리케이션뿐만 아니라 Claude Code, Codex, OpenCode와 같은 개발자 도구 및 에이전트 하니스에도 적용된다. AI Gateway 뒤에 Cloudflare Access를 배치하면 인증된 사용자 및 세션을 AI 트래픽에 연결하여 User Insights가 활동을 올바른 사람 및 대화와 연결할 수 있다. Cloudflare Access는 최대 50명의 사용자를 위한 팀에 무료로 제공되어 쉽게 시작할 수 있는 방법을 제공한다.

적용 조건 및 한계

User Insights의 새로운 기능은 AI Gateway 사용자에게 무료로 제공된다. Auto Router는 현재 클로즈드 베타로 운영되며, 참여를 위해서는 별도의 신청이 필요하다. User Insights의 분류 엔진은 원본 요청을 대체하거나 노출하지 않으며, 현재 구현은 사용자의 작업에 대한 모든 세부 정보를 추론하기보다는 이해하기 쉬운 소수의 카테고리에 중점을 둔다. 사용자 정의 애플리케이션의 경우, User Insights 분석을 위해 요청에 안정적인 `user_id`와 `session_id`가 포함되어야 한다. 이러한 식별자는 `cf-aig-metadata` 헤더를 통해 전달될 수 있다. 기본 로그 본문의 보존은 구성된 AI Gateway 로깅 동작을 따르므로, 팀은 분류기를 통해 전송할 내용을 결정할 때 해당 설정을 검토해야 한다.