마이크로소프트와 허깅페이스, AI 에이전트 평가 프레임워크 '씽킹박스' 공개

AI 에이전트 평가 방식의 변화

마이크로소프트와 허깅페이스는 AI 에이전트의 성능을 평가하는 새로운 프레임워크 '씽킹박스(ThinkingBox)'를 발표했다. 이 프레임워크는 에이전트가 생성하는 문장이나 도구 호출의 유효성 대신, 에이전트가 실제 백엔드에 남기는 최종 상태와 부작용을 기준으로 에이전트의 작업을 평가한다. 또한, 단일 성공 여부가 아닌 각 작업을 20회 반복 실행하여 에이전트의 일관된 신뢰성을 측정하는 데 중점을 둔다. 씽킹박스는 현재 허깅페이스와 오픈엔브(OpenEnv)를 통해 사용할 수 있다.

기존의 AI 에이전트 평가 방식은 최종 응답이나 유효한 도구 호출에만 초점을 맞추는 경향이 있었다. 그러나 이러한 방식은 에이전트가 겉으로는 올바르게 작동하는 것처럼 보여도 실제 데이터베이스에 잘못된 값을 남기거나, 의도치 않은 부작용을 발생시키거나, 필수적인 효과를 누락하는 등의 문제를 간과할 수 있다. 씽킹박스는 이러한 평가 방식의 간극을 해소하고, 에이전트의 실제 시스템 변경 사항을 검증함으로써 보다 신뢰할 수 있는 평가를 제공한다.

신뢰성 측정의 중요성

씽킹박스는 에이전트의 신뢰성을 평가하기 위해 각 작업을 20회 독립적으로 실행한다. 이는 한 번의 성공이 에이전트의 안정적인 작동을 보장하지 않는다는 전제에 기반한다. 예를 들어, 환불 처리를 한 번은 올바르게 수행하고 다음 네 번은 잘못 처리하는 에이전트는 신뢰할 수 있는 환불 에이전트로 볼 수 없다. 씽킹박스는 이러한 반복 실행을 통해 세 가지 주요 지표를 보고한다.

첫 번째 지표인 'pass@1'은 모든 시도 중 성공한 비율을 나타내며, 에이전트의 일반적인 성능을 보여준다. 두 번째 지표인 'pass@20'은 20번의 시도 중 최소 한 번 성공한 작업의 비율로, 에이전트가 해당 작업을 수행할 수 있는 능력의 폭을 측정한다. 마지막으로 'Observed 20/20'은 20번의 시도 모두에서 성공한 작업의 실제 개수를 나타내며, 에이전트의 일관된 정확성을 평가하는 핵심 지표로 활용된다. 이 블로그 게시물에서는 507개 작업 중 20/20을 통과한 작업의 실제 개수를 사용한다.

성능 및 일관성 분석 결과

씽킹박스-벤치(ThinkingBox-Bench)의 `pass@1` 점수 분석 결과, 클로드 오푸스 5.5(Claude Opus 5.5)가 67.16%로 전체 모델 중 가장 높은 성능을 보였다. 오픈웨이트 모델 중에서는 키미-K3(Kimi-K3)가 57.37%로 가장 강력한 성능을 나타냈다. 그러나 도메인별 성능 차이가 크게 나타나, 클로드 오푸스 4.6(Claude Opus 4.6)은 소매(retail) 워크플로우에서 68.62%를 기록했지만, 자동차 보험(auto insurance)에서는 8.30%에 그쳤다.

20회 반복 실행을 통한 일관성 측정에서는 모델 간의 큰 차이가 드러났다. GPT-6 아스트라는 `pass@1` 점수의 78%를 유지했으며, 클로드 오푸스 5.5와 클로드 오푸스 5는 각각 71%를 유지했지만, GLM-5.1, 키미-K2.6, 딥시크-V4-프로는 약 8%만을 유지하여 일관성이 매우 낮았다. 키미-K3는 507개 작업 중 476개(93.89%)를 최소 한 번 성공시켜 가장 넓은 커버리지를 보였으나, 20회 시도 모두 성공한 작업은 68개(13.41%)에 불과해 일관성은 가장 낮은 수준이었다. 반대로 클로드 오푸스 5는 더 적은 수의 작업을 최소 한 번 성공시켰음에도(79.09%) 47.53%의 작업을 모든 시도에서 일관되게 완료했으며, 클로드 오푸스 5.5는 `pass@1` 점수가 높았음에도 20회 시도 모두 성공한 작업 수는 241개로 클로드 오푸스 5와 동일했다.

비용 효율성 및 실패 유형

씽킹박스는 성공적인 작업 시도당 비용과 신뢰할 수 있는 작업당 비용을 측정하여 모델의 경제성을 평가한다. 성공적인 작업 시도당 비용은 507개 작업에 대한 총 예상 비용을 `pass@1` 점수로 나눈 값이다. 이 지표에서 GPT-5.6 솔(GPT-5.6 Sol)은 $0.127로 가장 낮은 비용을 보였으며, GPT-5.4는 $0.131, 클로드 오푸스 5.5는 $0.276를 기록하며 파레토 비용 효율성 경계선에 위치했다.

신뢰할 수 있는 작업당 비용은 20회 반복 실행 캠페인의 총 예상 비용을 20/20을 통과한 작업 수로 나눈 값이다. 이 지표에서는 GPT-5.4가 $6.80로 가장 저렴했으며, GPT-6 아스트라가 $7.45, 클로드 오푸스 5.5가 $7.80로 뒤를 이었다. 클로드 오푸스 5는 241개의 작업을 20/20으로 통과했지만, 비용은 $13.30으로 클로드 오푸스 5.5보다 높았다. 이는 단일 성공에 대한 최저 비용 모델이 반드시 일관된 신뢰성을 제공하는 최저 비용 모델은 아님을 시사한다.

실패 분석 결과, 에이전트 실패의 약 79.9%가 추론 문제가 아닌 도구 사용(tool usage) 문제로 나타났다. 잘못된 상태 업데이트(10.3%), 불완전한 사용자 해결(7.0%), 상태 변경 작업 없음(2.9%)이 그 뒤를 이었다. 이는 에이전트가 워크플로우를 시도할 만큼 충분히 진행하지만, 도구 오류, 사전 조건 실패 또는 빈 조회에서 복구하지 못하는 경우가 많다는 것을 의미한다. 또한, 소매 도메인의 `pass@1` 평균이 59.52%인 반면, 자동차 보험 도메인은 33.83%로 도메인별 난이도 차이도 확인되었다.

개발자 활용 및 제약 사항

씽킹박스는 개발자가 AI 에이전트의 실제 동작을 기반으로 보다 엄격하게 평가할 수 있는 환경을 제공한다. 개발자는 이 프레임워크를 활용하여 실패 사례를 분석하고, 데이터베이스에 실제로 어떤 변화가 발생했는지 확인함으로써 기존 평가 방식의 맹점을 보완할 수 있다. 또한, 오픈엔브를 통해 자신의 모델로 특정 작업을 재현하고, `best-of-k` 또는 `every-of-k`와 같은 반복 측정 지표를 정의하여 보고할 수 있다.

씽킹박스는 20/20 성공률을 설계 입력으로 활용하고, 프로덕션 환경에서 커밋하기 전에 최종 상태를 확인하며, 복구 가능한 도구 및 시스템 오류를 분류하여 재시도를 최적화하고, 워크플로우에 필요한 도구 표면을 줄이며, 되돌리기 어려운 변경 사항에 대해서는 인간의 승인을 요구하는 등의 실질적인 개선 방안을 제안한다. 씽킹박스 환경은 이러한 개선 방안의 효과를 테스트할 수 있는 기반을 마련한다.

씽킹박스 사용을 위해서는 리눅스 또는 WSL 환경, Python 3.11 이상, uv, 도커(Docker)가 필요하다. 또한, `thinkingbox-data` 체크아웃과 에이전트, 시뮬레이션된 사용자, 평가자를 위한 모델 엔드포인트가 요구된다. 씽킹박스 벤치마크의 모든 작업은 실제 AI 에이전트 엔터프라이즈 패턴을 모델링한 합성 재구성 데이터이며, 실제 고객 데이터는 사용되지 않는다. 비용 분석은 비교 효율성 지표이며 실제 청구서나 프로덕션 요청 가격을 의미하지 않는다. 실패 서명은 가중치가 부여되지 않은 평균이며 고유한 인과적 설명을 제공하지는 않는다.