조직의 '결정 등급 지식' 확보와 AI의 역할: Stack Internal 플랫폼 확장

AI 시대의 지식 불일치 문제

조직은 고객 문의, 내부 정책, 기술적 결정 등 중요한 질문에 답할 때 여러 정보 출처에서 상충하는 내용을 접하는 경우가 많다. 예를 들어, 제품 기능에 대한 문의에 대해 지원 페이지, 지원팀의 논의, 엔지니어의 구성 조건 설명이 서로 다를 수 있다. AI는 이러한 관련 출처를 빠르게 찾아내는 데 탁월하지만, 출처 간의 불일치를 해결하거나 정보의 최신성을 판단하는 데는 한계가 있다. 이는 사용자가 AI가 제공하는 답변의 신뢰성을 직접 확인해야 하는 피로감을 유발한다.

과거에는 관련 정보를 찾는 것 자체가 큰 성과였으나, 이제는 하이브리드 검색, 청킹, 재순위화 등 기술 발전으로 정보 검색이 훨씬 쉬워졌다. 그러나 검색된 정보가 서로 모순되거나 오래된 경우, 어떤 정보가 현재 상황에 적용되는지 판단하기 어렵다. 이러한 상황에서 조직은 단순히 정보를 나열하는 것을 넘어, 신뢰할 수 있는 '결정 등급 지식(decision-grade knowledge)'을 필요로 한다.

결정 등급 지식의 구성 요소

비즈니스에 중요한 질문에 대한 답변을 신뢰하기 위해서는 다섯 가지 핵심 요소가 충족되어야 한다. 첫째, '출처(provenance)'가 명확해야 한다. 답변의 근거가 되는 원본 출처를 검토할 수 있어야 한다. 둘째, '적용 범위(applicability)'를 알아야 한다. 특정 제품 버전, 지역 또는 고객 구성에 맞는 답변이 다른 상황에서는 틀릴 수 있기 때문이다. 셋째, '사용 권한(permissions)'이 존중되어야 한다. 지식은 원본 출처의 권한과 조직이 설정한 경계를 준수해야 한다.

넷째, '불일치 여부(disagreement)'를 파악해야 한다. 만약 최신 논의가 오래된 문서와 모순된다면, 시스템은 이러한 불일치를 명확히 보여주어야 한다. 다섯째, '해결 주체(resolution)'가 명시되어야 한다. 때로는 특정 기능의 소유자나 예외 사항을 이해하는 사람이 답변을 확정해야 할 수 있다. 이러한 요소들이 충족될 때 비로소 사람과 AI 에이전트가 의사결정을 지원할 수 있는 증거, 맥락, 그리고 지식 개선 방법을 갖춘 '결정 등급 지식'이 된다.

Stack Internal의 접근 방식과 기능

Stack Overflow는 지난 20년간 사람들이 전문 지식을 공유하고, 검토하며, 개선하는 과정에서 얻은 경험을 바탕으로 Stack Internal을 개발했다. Stack Internal Community는 이러한 지식 공유 및 개선 방식을 조직 내부로 가져왔다. 이제 Stack Internal 플랫폼은 더 많은 사람과 팀에게 개방되어, 조직의 다양한 출처에서 얻은 지식을 공유 계층으로 통합한다. 이 과정에서 지식을 책임감 있게 활용하는 데 필요한 맥락을 보존하며, 채팅, API, MCP(Microsoft Copilot)를 통해 접근 가능하게 한다.

Stack Internal은 주제 전문가(Subject Matter Experts)가 다른 사람들이 의존하는 지식을 검증하고 수정하는 역할을 수행하도록 설계되었다. 이는 전문가의 시간과 노력을 존중하면서도 지식의 정확성을 확보하는 중요한 과정이다. 고객 질문이 채팅 사용자, API를 사용하는 내부 애플리케이션, 또는 MCP를 사용하는 에이전트로부터 오더라도, 조직은 모든 경험에서 일관된 답변의 기반을 필요로 한다. Stack Internal은 인터페이스가 달라져도 출처, 접근 규칙, 그리고 사람의 기여가 일관되게 유지되도록 지원한다.

인간 전문가와 AI의 협업

Stack Internal은 인간 전문가의 역할을 중요하게 다룬다. 제품팀은 현재 기능을 확인하고, 엔지니어링팀은 구성 조건을 설명하며, 지원팀은 고객이 겪는 예외 사항을 파악하는 등 각 분야의 전문가가 출처만으로는 알 수 없는 중요한 정보를 제공한다. 그러나 AI 도구가 생성하는 모든 답변을 전문가가 검토하는 것은 비효율적이다. 대신, 중요한 답변이 불확실하거나, 출처가 충돌하거나, 많은 사람이 사용하는 지식의 검증이 필요할 때 전문가의 개입이 이루어지도록 한다.

전문가의 기여는 일회성으로 끝나지 않고 지속되어야 한다. 팀이 고객 질문을 해결하면, 그 결과는 답변, 적용 조건, 그리고 근거를 포함해야 한다. 만약 정보가 변경되면, 담당자가 이를 수정할 수 있어야 하며, 다음 팀은 이미 완료된 작업에서 시작할 수 있다. AI는 이 과정 전반에 걸쳐 유용한 역할을 수행한다. 출처를 검색하고 비교하며, 정보의 공백을 식별하고, 검증된 지식을 다음 워크플로우에서 활용할 수 있도록 돕는다. 인간은 의미를 확립하고 조직이 아직 답을 찾지 못한 경우를 해결하는 역할을 담당한다.

지속적인 지식 개선과 미래 비전

Stack Internal은 지식의 지속적인 개선을 목표로 한다. 예를 들어, 특정 기능이 변경될 경우 이전에 제공된 답변이 수정될 수 있어야 한다. 또한, 일대일 대화에서 생성되는 유용한 지식, 즉 동료나 AI 에이전트와의 논의를 통해 발견된 예외 사항이나 결론이 다른 사람에게도 재사용될 수 있도록 하는 방법을 모색한다. Stack Internal은 사람들이 작업하는 도구를 통해 유용한 지식을 플랫폼으로 다시 푸시할 수 있는 방법을 개발 중이다.

기여자는 어떤 지식을 보존하고 누가 접근할 수 있는지 결정할 수 있어야 하며, 전문가의 수정 사항은 원래의 지침과 연결된 상태로 유지되어야 한다. 장기적으로 Stack Internal은 해결된 대화를 재사용 가능한 지식으로 전환하고, 출처 간의 충돌을 식별하며, 답변에 주의가 필요할 때 적절한 사람을 개입시키는 시스템을 구축하고자 한다. 궁극적으로는 사용자가 어떤 질문을 해야 할지 알기 전에도 관련 결정, 미해결 충돌 또는 작업에 영향을 미칠 수 있는 공백을 미리 파악하여 제시하는 것을 목표로 한다. 이를 통해 어렵게 얻은 답변이 회의, 채팅 스레드 또는 AI 세션과 함께 사라지지 않고, 모든 결정과 수정이 다음 결정을 더 쉽게 만드는 조직을 지향한다.