다중 도구 연동 환경에서 드러난 '출처 교차 혼동'의 위험
대규모 언어모델(LLM)이 모델 컨텍스트 프로토콜(MCP)을 매개로 내부 데이터베이스, 검색 엔진, API, 전자의무기록(EHR) 등 이종 도구를 오가며 작동하는 환경이 빠르게 확산되고 있습니다. 에이전트는 여러 도구의 실행 결과를 한데 모아 단일한 종합 답변을 생성하지만, 이 과정에서 치명적인 검증 사각지대가 형성되고 있습니다.
기존의 대표적인 사실성 평가 시스템인 MiniCheck, AlignScore, RAGAS Faithfulness 등은 수집된 증거를 하나로 합친 통합 풀을 기준으로 '답변의 내용이 전체 증거 어딘가에 존재하는지'만 검사합니다. 이에 따라 진술 내용 자체는 참이지만 답변이 지목하거나 인용한 출처 식별자(Source ID)가 실제 정보를 제공한 원천 도구와 엇갈리는 '출처 교차 혼동(Cross-Source Conflation)'을 식별하지 못하는 한계가 드러났습니다. 환자 개인 진료 기록에서 가져온 수치를 일반 의학 문헌의 권고사항인 것처럼 서술하거나, 고객 약관의 일반 환불 정책을 특정 계정의 개별 거래 내역으로 둔갑시키는 결함이 대표적입니다.
모델 재학습 없는 6단계 사후 검증 체계 '프로비넌스가드'
멀티버스 컴퓨팅(Multiverse Computing) 연구팀은 이러한 결함을 방어하기 위해 MCP 기반 에이전트의 실행 트레이스 상단에 부착하는 사후 검증 계층인 '프로비넌스가드(ProvenanceGuard)'를 제안했습니다. 이 시스템은 기반 LLM을 추가로 미세조정하거나 재학습하지 않고도 동작할 수 있도록 설계된 독립형 모듈입니다.
해당 아키텍처는 6단계 파이프라인을 거칩니다. 먼저 고유 도구 ID와 출처 ID가 포함된 원시 MCP 실행 기록을 수집하여 증거 풀의 출처 식별자를 보존합니다. 이후 모델이 생성한 답변을 최소 단위의 원자 주장(atomic claims)으로 분해하고, 각 주장을 뒷받침할 가능성이 있는 개별 출처로 라우팅합니다. 이어 자연어 추론(NLI) 모델과 어텐션 토큰 정렬을 결합해 주장의 부합성을 검증한 뒤, 주장이 지목하는 출처와 실제 증거를 제공한 라우팅 출처의 일치 여부를 대조합니다. 만약 불일치나 무근거가 발견되면 해당 주장을 차단(Block)하고 검색 증강 답변 수정(RARR) 메커니즘을 거쳐 대체 문구로 안전하게 수정하거나 답변을 철회합니다.
임상 데이터셋 평가와 출처 추적 벤치마크 성적표
연구팀은 281건의 실제 의료 도메인 MCP 트레이스 데이터를 활용해 성능을 실증했습니다. 인간 전문가가 검증한 40개 홀드아웃 트레이스(361개 주장 라벨) 평가에서 프로비넌스가드는 거부/차단 F1 점수 0.802를 기록했으며, 출처 식별 적격 주장 260건에 대해 0.858의 출처 정확도(Source Accuracy)를 달성했습니다. 특히 전문가가 허위 정보나 출처 혼동으로 인해 차단해야 한다고 판단한 139개 주장 중 138개를 적발해 냈습니다.
이는 기존의 사실성 검증 도구들과 비교해 뚜렷한 격차를 보입니다. 동일한 홀드아웃 테스트셋에서 출처 구분을 하지 못하는 MiniCheck는 차단 F1 0.783, RAGAS Faithfulness는 0.758, AlignScore는 0.662, SummaC-ZS는 0.436에 머물렀으며, 이들 도구는 출처 ID 자체를 출력하지 못했습니다. 또한 사실인 주장 50건의 출처 라벨을 인위적으로 맞바꾼 스트레스 테스트에서 프로비넌스가드는 50건 전량(100%)의 혼동을 잡아내는 결과를 보였습니다. 차단된 173개 답변 중 144건은 보수적 폴백 문구로 대체 처리되었습니다.
안전 우선 설정에 따른 과도한 차단과 유사 출처 식별 한계
프로비넌스가드의 성과는 고무적이지만, 실제 서비스 적용 관점에서는 무시할 수 없는 트레이드오프가 확인됩니다. 연구팀은 의료와 같은 고위험 영역의 특성을 고려해 미확인 정보의 통과를 최소화하는 '실패 시 차단(Fail-closed)' 보정 방식을 채택했습니다. 이로 인해 전문가가 사실로 인정한 정상 주장 67건까지 오류로 오인해 차단되었으며, 차단 정밀도(Block Precision)는 0.673 수준으로 떨어졌습니다. 실제 업무 환경에 도입할 경우 정상적인 결과물까지 과도하게 검열되어 운영자의 수동 재검토 부담이 크게 가중될 수 있습니다.
의미론적으로 유사한 여러 출처가 경쟁하는 환경에서의 취약점도 관찰됩니다. 고난도 벤치마크 실험에서 차단 F1은 0.846을 유지했으나, 개별 주장의 정확한 출처와 관계를 모두 맞춰내는 '출처-관계 정확도'는 22.9%로 급락했습니다. 이는 출처 간 정보 차이가 미세하거나 문서 형식이 유사한 다중 문서 검색 상황에서는 세밀한 출처 귀속 능력이 여전히 불안정함을 시사합니다.
실무 도입 시 유의점과 엔터프라이즈 환경의 과제
엔터프라이즈 아키텍처 관점에서 프로비넌스가드는 LLM의 가중치를 수정하지 않고 검증 게이트웨이 형태로 배치할 수 있다는 점에서 운영 효율성을 제공합니다. 규제 준수와 감사 추적(Audit Trail)이 필수적인 금융, 법률, 의료 에이전트 시스템에서 출처 오귀속으로 인한 법적 책임을 줄이는 실질적인 방어 수단이 될 수 있습니다.
하지만 즉각적인 상용 도입을 검토하기에는 아직 검증되지 않은 요소들이 남아 있습니다. 현재 공개된 깃허브 저장소는 논문 아티팩트와 서지 메타데이터 수준에 머물러 있어 전체 평가 파이프라인의 재현 가능성이 완전히 확보되지 않았습니다. 또한 이번 연구는 학술적 방법론 제안 단계로, 상용 SaaS 형태의 관리형 API나 공식 기술 지원 체계는 발표된 바 없습니다. 시스템 엔지니어는 프로비넌스가드 도입 시 NLI 추론과 다단계 라우팅으로 인해 추가되는 지연 시간(Latency)과 오탐에 따른 운영 비용을 정밀하게 평가해야 합니다.
출처
Hugging Face의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
Getting the Source Right, Not Just the Fact: Source-Aware Verification for MCP Agents (새 창)
