기업용 에이전트 취약점 공략을 위한 합성 데이터 프레임워크 공개
ServiceNow CoreAI 연구팀은 2026년 10월 2일 공식 기술 블로그를 통해 엔터프라이즈 환경에 특화된 에이전트 학습 데이터 생성 프레임워크인 'AutoSynthData'를 발표했습니다. 고성능 거대언어모델(LLM)이라도 복잡한 상태 변화, 엄격한 사내 비즈니스 규칙, 다양한 API 조합이 얽힌 기업 내부 환경에서는 오작동하는 사례가 빈번하게 발생한다는 문제의식에서 출발한 연구입니다.
기존의 규칙 기반 템플릿 증강 방식은 모델이 취약한 실질적 지점을 다루지 못하거나 현실에서 실행 불가능한 인공적 오류 데이터를 양산하는 한계를 노출해 왔습니다. 연구팀은 앞서 2026년 3월 공개했던 엔터프라이즈 상태형 환경 벤치마크인 'EnterpriseOps-Gym' 기반 연구를 확장하여, 모델의 약점을 진단하고 이를 해결하는 폐쇄 루프형 합성 과제 생성 메커니즘을 새롭게 제안했습니다.
역량 격차 분석과 다단계 검증을 결합한 폐쇄 루프 파이프라인 구조
AutoSynthData의 핵심 파이프라인은 '역량 격차(Capability Gap)' 포착 단계부터 출발합니다. 진단 환경에서 훈련 대상 모델과 상위 교사 모델을 동시에 실행한 뒤 대상 모델만 실패하는 경로를 추려내 취약 패턴을 식별합니다. 이후 원본 평가 프롬프트의 구체적 식별자를 정제(Sanitized)하여 필요한 도구, 절차, 제약 조건만 추상화한 '역량 명세 카드'를 생성기에 전달합니다.
각 과제는 시스템 명세, 사용자 프롬프트, 검증기로 구조화되며, 기본 과제를 생성하는 'Target' 단계와 초기 상태 및 표현 방식을 다양화하는 'Multiply' 단계의 2단계 확장을 거칩니다. 데이터 품질 저하를 막기 위해 증강된 샘플을 다시 복제하는 반복 증식은 차단됩니다. 또한 정답 검증기(Positive Verification), 취약 검증자 제거(Negative Verification), 비판 및 수정 루프(Critique and Repair Loop)를 통과한 데이터만 선별하는 다단계 검증 시스템을 적용했습니다.
EnterpriseOps-Gym 벤치마크를 통한 성능 측정 수치
연구팀은 대상 모델로 'Gemma-4-26B-A4B-it'을 지정하고 교사 모델로 'Qwen3.8-27B'와 'DeepSeek-V4.1-Flash'를 활용하여 검증 실험을 진행했습니다. 파이프라인은 약 18시간 동안 약 2,000건의 품질 검증을 거친 학습 과제를 생성하는 처리 속도를 기록했습니다.
EnterpriseOps-Gym 환경에서 지도 미세조정(SFT)을 거친 결과, Hybrid 도메인에서는 2,000개의 합성 데이터를 학습시켜 단일 시도 해결 성공률(Mean Pass@1)을 20.45%에서 27.65%로 7.20%포인트 끌어올렸으며 검증기 충족률도 63.01%에서 68.55%로 개선되었습니다. IT 서비스 관리(ITSM) 도메인 역시 1,994개의 합성 데이터 학습을 통해 성공률이 18.77%에서 27.18%로 8.41%포인트 상승하며 기준 참조 모델과의 격차를 크게 줄였습니다.
절대 성공률의 벽과 배포 환경 일치에 따른 한계 검토
측정 수치상 30%가 넘는 상대적 개선율을 달성했음에도 불구하고, 결과 지표를 해석할 때는 신중한 접근이 요구됩니다. 미세조정 이후 달성된 절대 성공률(Pass@1)은 Hybrid 도메인 27.65%, ITSM 도메인 27.18%로, 여전히 과제의 70% 이상을 단일 시도에서 완결 짓지 못하는 수준에 머물러 있습니다. 인간의 개입이 완전히 배제된 무인 자율 운영 환경에 당장 투입하기에는 통계적 위험이 큽니다.
또한 본 실험의 성능 평가는 커리큘럼 생성 대상 환경과 동일한 벤치마크 군인 EnterpriseOps-Gym 내에서 폐쇄적으로 측정되었습니다. 외부의 독자적인 엔터프라이즈 환경이나 이질적인 사내 워크플로에 적용했을 때 동일한 수준의 전이 학습 효과와 제로샷 일반화 성능이 유지될 수 있을지는 아직 독립적으로 입증되지 않았습니다.
미공개 파이프라인의 실무적 함의와 엔지니어링 제언
이번 공개는 방법론 중심의 연구 기술 블로그 발표이며 파이프라인 전체 소스코드나 생성 데이터셋, 파인튜닝 체크포인트 가중치는 공개되지 않았습니다. 상용 SaaS나 온프레미스 형태의 출시 일정 및 비용 체계 또한 발표에 포함되지 않아, 당장 상용 솔루션으로 도입하는 것은 불가능한 상태입니다.
실무 관점에서 엔터프라이즈 AI 엔지니어들이 취해야 할 방향은 AutoSynthData의 아키텍처 방법론을 사내 데이터 파이프라인에 벤치마킹하는 것입니다. 단순 데이터를 무작위로 증식하기보다, 진단 평가를 통해 실패 케이스를 체계적으로 추상화하고 엄격한 다단계 검증기를 두어 '실패로부터 유효한 학습 궤적을 합성하는 폐쇄 루프 체계'를 내부적으로 설계하는 시도가 유효한 접근이 될 것입니다.
출처
Hugging Face의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
AutoSynthData: Generating Training Data for Enterprise Agents (새 창)
