전문 계약 관리 환경에서 검증한 컴퓨터 조작 역량
OpenAI가 2026년 10월 6일 법률 및 계약 수명주기 관리(CLM) 전문 기업 아이언클래드(Ironclad)와 공동 진행한 AI 컴퓨터 사용(Computer Use) 역량 연구 결과를 공개했습니다. 이번 발표는 상용 완제품 기능이나 별도 유료 상품의 출시 공지가 아니며, 복잡하고 규정 중심적인 기업 워크플로 내에서 AI 에이전트가 소프트웨어를 조작하고 업무 규칙을 준수하는 방식을 실증한 연구 성과 공유입니다.
평가 환경은 비밀유지계약(NDA) 생성, 구매 승인 절차 설계, 관할권별 표준 법률 조항 갱신 등 상업·조달·법무 영역에서 도출된 11개 실무 과제로 구성되었습니다. 숙련된 실무자가 과제당 30분에서 40분가량 투입해야 하는 규모로, 작업의 복잡성에 맞춰 과제마다 8개에서 50개에 이르는 세부 평가 기준(Rubric)이 적용되었습니다. 훈련에는 미국 증권거래위원회(SEC) EDGAR 공시 데이터 기반의 합성 계약서와 강화학습(RL)이 활용되었으며, 고객의 비공개 데이터는 배제되었습니다.
추론 모델 고도화에 따른 점수 향상과 속도 추정치
OpenAI가 공개한 성능 벤치마크에 따르면, 최대 추론 설정을 적용한 GPT-6 Astra는 11개 과제에서 평균 루브릭 점수 55.0%를 기록했습니다. 이는 직전 세대 추론 모델인 GPT-5.6 Sol(높은 추론 설정)의 평균 점수 41.6%와 비교했을 때 약 32% 개선된 결과입니다. 아울러 공개되지 않은 내부 연구 모델의 경우 최고 63.7%의 점수를 달성한 것으로 보고되었습니다.
과제 완수 시뮬레이션을 통해 산출된 시도당 소요 시간은 GPT-5.6 Sol이 37.0분이었던 반면, GPT-6 Astra는 19.2분으로 측정되어 약 48% 단축되었습니다. 그러나 OpenAI는 각주를 통해 이 수치가 실제 사용자의 실무 환경에서 측정한 시간 절감치가 아니라, 모델의 토큰 생성 및 상호작용 속도를 가정한 시뮬레이션 추정치임을 분명히 밝혔습니다.
수치의 이면: 자율화 한계와 독립 검증의 부재
이번 연구 결과는 AI 모델이 브라우저 기반 복합 SaaS 인터페이스를 제어하는 방식에서 유의미한 기술 진전을 보여주지만, 동시에 기업 실무 도입의 높은 장벽을 실증합니다. 최신 모델이 기록한 55.0%라는 평균 점수는 절반을 갓 넘긴 수준으로, 단 한 번의 조항 누락이나 승인 경로 왜곡이 막대한 법적·재무적 리스크로 이어지는 계약 관리 환경에서 독립적으로 작업을 맡기기에는 역부족입니다.
또한 본 수치는 개발 주체인 OpenAI와 협력사 아이언클래드가 자체 설계한 11개 과제에 국한된 1차 당사자 평가 결과(Vendor-reported benchmark)입니다. 통제된 환경 밖의 다양한 기업 내부 SaaS 환경이나 예외적인 커스텀 규칙에서도 동일한 성능이 발현되는지 외부 독립 기관의 검증은 아직 이뤄지지 않았습니다. 양사가 실제 업무 현장에서 '인간 감독(Human oversight)'이 필수적이라고 재차 강조한 이유도 여기에 있습니다.
전문 워크플로 학습을 위한 엔터프라이즈 파트너십 전략
OpenAI의 이번 행보는 단순 마우스 클릭과 스크롤링 같은 표면적 UI 조작을 넘어, 도메인 특화 비즈니스 규칙과 복합 승인 트리 구조를 학습시키는 방향으로 에이전트 연구의 초점을 이동하고 있음을 시사합니다. 범용 웹 탐색 중심의 기존 에이전트 실험과 달리, 계약 관리처럼 규정 준수가 엄격한 도메인은 강력한 피드백 루프를 제공하는 최적의 훈련 시험대입니다.
아이언클래드는 이번 협력을 바탕으로 향후 자체 플랫폼에 점진적인 AI 기능 통합을 모색할 방침이며, OpenAI는 전문 소프트웨어 워크플로를 보유한 타 SaaS 기업들로 연구 파트너십을 확장하겠다는 계획을 밝혔습니다. 실무 조직 관점에서는 현재 단계의 에이전트를 완전 자동화 솔루션으로 기대하기보다, 반복적인 서식 세팅이나 기본 승인선 초안 작성을 보조하는 파일럿 단위로 접근하며 감독 체계를 설계하는 것이 합리적입니다.
출처
OpenAI News의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
Advancing computer use with Ironclad (새 창)
