AI 에이전트 신뢰성 확보: Amazon Bedrock AgentCore 기반 평가 프레임워크

AI 에이전트 품질 관리의 필요성

Amazon Bedrock AgentCore는 AI 에이전트의 신뢰성을 확보하기 위한 생산 준비 평가 프레임워크를 제시한다. 이 프레임워크는 에이전트가 프로덕션 환경에서 조용히 품질이 저하되는 문제를 해결하기 위해 고안되었다. 기존 소프트웨어와 달리 AI 에이전트는 유창하지만 잘못된 답변을 반환하여 사용자 신뢰를 훼손할 수 있으며, 이를 감지하기 위한 새로운 접근 방식이 요구된다.

AWS SMGS 운영팀은 전 세계 AWS 필드 세일즈를 지원하는 다중 에이전트 시스템을 운영하면서 이러한 품질 문제를 경험했다. 예를 들어, 고객 인사이트 에이전트가 잘못된 매출 수치를 보고하거나 데이터에 없는 추정치를 제공하는 등의 오류가 발생했다. 이러한 오류는 판매자의 고객 신뢰도 하락과 잘못된 비즈니스 결정으로 이어질 수 있다.

AI 에이전트는 비결정적이며, 여러 단계의 추론 과정에서 조용히 실패할 수 있다. 데이터, 프롬프트, 코드, 모델의 변경뿐만 아니라 상위 데이터 파이프라인의 새로고침만으로도 품질이 저하될 수 있다. 기존의 지연 시간, 오류율, 가동 시간 중심의 모니터링으로는 이러한 '조용한 실패'를 감지하기 어렵기 때문에, 에이전트의 전체 추론 체인에 걸쳐 건전한 의사결정을 하는지 평가하는 프레임워크가 필수적이다.

9단계 평가 프레임워크의 핵심

Amazon Bedrock AgentCore는 에이전트의 개발 수명 주기 전반에 걸쳐 안전성, 품질, 성능, 비용, 운영 제어의 5가지 차원을 지속적으로 평가하는 9단계 프레임워크를 제공한다. 이 프레임워크는 도구, 에이전트, 다중 에이전트의 세 가지 계층에서 동시에 적용되어 각 수준의 잠재적 실패 지점을 포괄한다.

1단계 '기반'에서는 에이전트의 성공 기준을 정의하고, 비즈니스 지표를 평가 지표로 변환한다. 정확도 통과율, 환각률, 접지율 등 구체적인 품질 지표와 함께 6가지 주요 실패 유형(지표 교환, 기간 오류, 엔티티 오류, 순수 환각, 잘못된 기호, 무단 계산)을 정의한다. AgentCore 내장 평가자, 사용자 정의 평가자, 서드파티 평가자, 결정론적 평가자, LLM-as-judge 루브릭을 조합하여 평가 스택을 구축하고, 실제 사용자 쿼리, 회귀 오류, 합성 엣지 케이스로 구성된 골든 세트를 마련한다.

개발 및 배포 단계별 품질 보증

3단계 '병합(CI)'은 스테이징 환경에서 코드 및 구성 변경 시 AgentCore 온디맨드 평가를 자동으로 실행하여 회귀를 방지한다. 이 단계에서는 가장 위험한 시나리오를 선별한 센티넬 세트를 사용하여 빠른 평가를 수행하며, 품질, 안전성, 지연 시간, 쿼리당 비용 등의 지표가 CloudWatch에 게시되고 임계값 위반 시 배포를 차단한다.

4단계 '게이트(CD)'는 배포 전 전체 골든 세트에 대해 AgentCore 온디맨드 평가를 실행하여 정량적 신뢰도를 확보한다. 샌드박스 실행과 도구 모킹을 통해 에이전트 자체의 추론 능력을 테스트하며, 미리 정의된 동결된 데이터셋으로 도구 호출을 처리한다.

집계된 종단 간 점수 매기기를 통해 후보 에이전트가 이전 실행 대비 저하되거나, 현재 프로덕션 기준선을 넘지 못하거나, 특정 비율 이상의 질문이 임계값 미만일 경우 배포를 자동으로 차단한다.

5단계 '카나리'는 프로덕션 환경에서 AgentCore 배치 평가를 30분 주기로 지속적으로 실행하여 배포 후 발생하는 조용한 실패를 감지한다. 상위 데이터 변경이나 모델 동작 변화 등 코드 변경 없이 발생하는 품질 저하를 포착하며, 3회 연속 임계값 위반 시 온콜 알람을 발생시킨다. 하루에 한 번 전체 골든 세트를 실행하여 일일 스코어카드를 제공한다.

운영 중 품질 유지 및 개선

6단계 '적대적 공격'은 Amazon Bedrock Guardrails를 사용하여 입력 및 출력에서 안전성 검사를 수행한다. 콘텐츠 필터와 프롬프트 보안 필터를 구성하여 유해하거나 부적절한 콘텐츠, 프롬프트 주입, 시스템 프롬프트 유출 등의 위협으로부터 에이전트를 보호하며, 모든 트래픽에 대해 동기적으로 실행된다.

7단계 '드리프트'는 AgentCore 온라인 평가를 통해 라이브 트래픽의 10%를 지속적으로 샘플링하여 품질 저하(드리프트)를 감지한다. 품질 상태 계산기는 품질, 지연 시간, 비용을 모니터링하며, 낮은 점수를 받은 세션은 골든 세트에 새로운 엣지 케이스로 추가되어 프롬프트 수정, 도구 업데이트, 라우팅 조정에 활용된다. AgentCore Gateway를 통한 A/B 테스트로 후보 에이전트를 라이브 트래픽에 노출하여 검증한다.

8단계 '펄스'는 AgentCore Observability를 기반으로 실시간 품질 가시성을 제공한다. 모든 에이전트 실행 단계(도구 호출, 순서, 입력/출력, 지연 시간, 토큰 소비)에 대한 구조화된 원격 측정 데이터를 CloudWatch에 게시한다. 평가 점수와 실행 추적 데이터는 S3 및 데이터 레이크에 저장되어 대시보드에 활용되며, 온콜 엔지니어는 CloudWatch 알람에서 AgentCore Observability 추적으로 바로 이동하여 근본 원인을 신속하게 식별할 수 있다. 이로 인해 평균 감지 시간(MTTD)이 며칠에서 4시간 미만으로 단축되었다.

9단계 '피드백 루프'는 AgentCore 최적화 기능을 사용하여 품질 개선을 위한 행동을 자동화한다. 에이전트 추적을 분석하여 성능을 개선하는 시스템 프롬프트 추천과 도구 선택 혼란을 줄이는 도구 설명 추천을 제공한다. 낮은 점수를 받은 추적은 영구 회귀 방지 장치로 골든 세트에 추가되어 동일한 실패가 반복되지 않도록 한다.

영향 및 적용 범위

이 9단계 평가 프레임워크의 도입으로 품질 회귀 감지 시간이 며칠에서 4시간 미만으로 단축되었으며, 배포 결정은 주관적 판단 대신 정량적 임계값을 기반으로 이루어진다. 프롬프트 반복 주기는 며칠에서 몇 분으로 줄어들었고, 안전성 검사는 모든 요청에 대한 100% 가드레일 커버리지로 강화되었다. 지연 시간 회귀 및 예상치 못한 비용 증가는 프로덕션 배포 전에 감지 및 제어된다.

이 프레임워크는 판매 인텔리전스 에이전트에만 국한되지 않으며, 추론하고, 하위 에이전트와 도구를 호출하며, 응답을 합성하는 다중 에이전트 시스템을 배포하는 모든 팀에 적용 가능하다. 각 팀은 자신의 도메인과 사용자에 맞게 실패 분류 체계, 골든 세트, 평가자 스택을 조정할 수 있다.

Amazon Bedrock AgentCore Evaluations는 온디맨드 평가, 배치 평가, 온라인 평가, 내장 및 사용자 정의 평가자, 데이터셋 평가, CloudWatch 통합, AgentCore 최적화 기능(추천 및 A/B 테스트)을 제공하여 이러한 평가 규율을 시스템에 적용할 수 있는 플랫폼을 제공한다. 에이전트의 성공 기준을 명확히 정의하는 1단계부터 시작하여 프레임워크를 활용할 수 있다.