OpenAI는 10월 14일 서드 모먼트 리서치가 다수의 AI 에이전트를 활용해 수행한 연구 운영 사례를 공개했다. 해당 사례에서 제시된 운영 규모는 동시 실행 1만 개와 자율 연구 세션당 36~48시간에 이른다. 이는 특정 연구 조직의 특화된 시스템 환경에서 보고된 수치이며 동일 모델을 활용하는 다른 환경에 그대로 적용되거나 성능을 보증하는 기준은 아니다.
이번 공개 내용에서 주목할 지점은 단순히 긴 맥락의 대화를 유지하는 모델 자체의 기능에 머무르지 않는다. 에이전트가 연구 과정에서 접근할 데이터와 연산 도구를 어떻게 구성하고, 작업이 끝나지 않았을 때 시스템이 다음 행동을 어떻게 규정하는지가 핵심을 이룬다. 모델이 생각하는 시간과 실제 시스템의 계산이 끝나는 시점을 일관되게 관리하는 방식이다.
자율 연구가 36~48시간 동안 유지되려면 모델 호출 외에도 하위 시뮬레이션의 완료 여부와 실패 패턴을 통제하는 별도 계층이 요구된다. 모델에 작업을 던져두는 방식만으로는 긴 시간 동안 의미 있는 결과를 축적하기 어렵기 때문이다. 서드 모먼트의 사례는 계산 자원의 지연과 반복 오류를 제어하는 연구 인프라 설계를 함께 보여준다.
백테스트 지연 단축과 실험 환경 최적화
사례가 다룬 초기 적용 분야 중 하나는 정량 금융 연구로, 미국 주식의 1년치 주문 단위 데이터를 활용해 전략을 시험하는 작업이었다. 회사에 따르면 기존 환경에서 약 3시간이 소요되던 백테스트 실행은 캐시와 메모리 배치 최적화를 거친 뒤 약 3~5분으로 대폭 줄었다. 연산이 완료되기를 기다리는 동안 발생하던 잦은 상태 확인 요청과 문맥 낭비도 함께 감소했다는 설명이다.
이러한 결과는 연구 환경의 연산 처리 속도와 자원 효율성에 관한 기술적 보고로 읽어야 한다. 이를 실제 거래 시장에서의 투자 수익이나 향후 수립될 전략의 성공률을 검증한 자료로 해석해서는 안 된다. 과거 데이터로 진행하는 시뮬레이션 환경과 실제 시장 환경은 체계 자체가 다르기 때문이다. 연산 단축으로 더 많은 가설을 빠르게 시험할 수 있게 되었으나 각 가설의 금융적 유효성은 별도로 평가해야 한다.
실행 시간이 약 3시간에서 약 3~5분으로 줄어든 성과는 에이전트의 대기 동작에도 직접적인 영향을 미쳤다. 이전에는 긴 연산 대기 시간 동안 에이전트가 상태를 확인하는 요청을 반복하며 불필요한 문맥을 소모했으나, 인프라 속도가 개선되면서 이러한 비효율이 줄어들었다. 모델 자체를 바꾸지 않더라도 도구 실행 속도를 개선하는 것이 전체 자율 연구 흐름의 안정성을 높인 셈이다.
중단된 작업에 대한 상위 흐름의 분기 감독
회사는 Docker로 구축한 연구 환경 내에서 Codex를 활용하며, 상위 실행 흐름이 완료되지 않은 작업 기록을 별도로 살피도록 설계했다. 작업이 지연되거나 멈췄을 때 이를 무조건 지속시키는 대신 재시도할지, 즉시 종료할지, 사람의 검토 단계로 넘길지를 체계적으로 분기해 결정한다. 장시간 실행을 무작정 연장하지 않고 정지 원인을 즉시 규명하는 절차를 둔 것이다.
이러한 접근은 에이전트 수를 늘리는 단순 확장 문제와 시스템의 관리 감독 문제를 분리해 다룬다. 작업이 제대로 완료되었는지 점검하지 않은 채 새로운 시도를 계속 누적하면 동일한 실패가 반복되거나 계산 자원만 계속 소모될 수 있다. 단순한 규모 확대보다 재시도, 종료, 사람의 검토라는 세 가지 경로를 명확히 구분해 다루는 운영 체계가 실제 환경에서 참고할 핵심이다.
자율 에이전트가 복잡한 연구를 장시간 수행할 때 가장 큰 문제는 실패가 조용히 은폐되거나 비효율적인 루프에 빠지는 현상이다. 상위 흐름에서 작업의 상태를 확인해 명확한 판단을 내리지 않으면 36~48시간이라는 운영 시간은 무의미한 자원 낭비로 끝날 수 있다. 서드 모먼트는 개별 에이전트의 자율성에만 의존하지 않고 상위 관리 구조를 통해 실행 실패를 통제하는 방식을 택했다.
기록 기반의 실패 유형 분류와 승인된 평가
서드 모먼트의 공식 안내에 따르면 실제 요청은 개별 호출 단위로 끊어지지 않고 작업의 시작부터 끝까지 이어지는 전체 기록으로 묶여 관리된다. 시스템은 실패 유형과 빈도, 실제 오류 사례를 고객에게 보여주고, 고객이 해결해야 할 문제를 직접 확인하고 승인하면 해당 문제를 표적으로 삼는 새로운 평가 항목을 생성한다. 이후 모델의 후속 학습이나 도구 구성을 보완하는 개선 절차로 이어진다.
새롭게 개선된 버전은 구체적인 변경 내역을 증명하는 평가 결과와 함께 전달된다. 공식 안내는 평균 점수가 오르더라도 드물게 나타나는 까다로운 실패 사례가 여전히 남을 수 있으며, 실행 간 변동폭보다 작은 수준의 개선은 실질적 이득으로 보기 어렵다고 덧붙인다. 이는 회사가 제시하는 고유한 서비스 방식이며 독립적인 제3자 검증 결과와는 구별해서 보아야 한다.
다만 무엇을 개선했다고 주장하는지 평가 항목을 통해 객관적으로 드러내려는 접근 방식은 분명하다. 단순한 정성적 만족도나 막연한 성공률 대신 구체적으로 정의된 실패 유형을 목록화하고 이를 해결했는지 측정하는 구조다. 이러한 평가 체계는 모델의 후속 학습뿐 아니라 도구 설정의 미세한 변화가 실제 작업 완수율에 어떤 영향을 미쳤는지 추적하는 기반이 된다.
3시간에서 3~5분은 도구 한 번의 대기 시간
약 180분을 3~5분으로 나누면 백테스트 한 번의 실행 시간이 약 36~60분의 1이 된 산술 비교다. 연구 세션 전체가 같은 비율로 빨라졌거나 투자 수익이 그만큼 늘었다는 뜻은 아니다. 줄어든 대기 사이에 에이전트가 수행할 다음 실험과 검토가 남는다.
동시 1만 개는 병렬 운영 규모이고 36~48시간은 세션 지속 시간이다. 두 수치를 곱해 모두 완료한 연구량을 만들 수 없다. 상위 실행 흐름이 재시도·종료·사람의 검토를 고르는 이유도 단순 가동 시간과 유효한 완료를 구분하기 위해서다.
| 수치 | 직접 비교할 대상 |
|---|---|
| 약 3시간 → 3~5분 | 특정 백테스트 실행 시간 |
| 약 36~60배 | 위 시간의 단순 산술 비율 |
| 동시 1만 개 | 보고된 병렬 에이전트 규모 |
| 세션 36~48시간 | 작업의 지속 시간·완료 건수 아님 |
결국 서드 모먼트가 제시한 1만 개 규모의 장시간 자율 연구는 모델 추론 능력 하나만으로 달성된 결과가 아니다. 약 3시간이 걸리던 백테스트를 약 3~5분으로 줄여 대기 비효율을 없앤 도구 최적화와 상위 감독 흐름을 통한 분기 제어가 36~48시간 실행을 지탱했다. 여기에 실제 실행 기록을 바탕으로 사람이 승인한 실패 유형을 집중 평가하는 방식이 결합되며 장시간 연구 체계의 틀을 완성했다.
ARCH.B 의견
여러 에이전트를 활용하는 시스템에서 중요한 기준은 동시에 구동할 수 있는 인스턴스의 개수에 머물지 않는다. 각 에이전트가 어떤 입력을 받았는지, 접근 가능한 도구와 자료의 경계가 어디까지인지, 무엇을 완료로 인정할 것인지가 투명하게 드러나야 결과를 비교하고 검증할 수 있다. 상세한 실행 기록이 없으면 성공 사례라 하더라도 재현이 불가능하며, 실패가 발생했을 때 그것이 도구 결함인지 자료 오류인지 모델 판단 미숙인지 나눌 수 없다.
이번 사례는 AI 연구의 실질적 확장이 고성능 모델 선택뿐 아니라 실행 환경 설계에 강하게 의존한다는 사실을 보여준다. 느린 도구를 개선해 대기 비용과 문맥 소모를 낮추고, 실패 유형을 좁혀 평가를 설계하는 일은 인프라 영역의 과제다. 조직이 참고해야 할 지점은 1만 개라는 운영 수치 자체를 모방하는 것이 아니라, 작은 실험에서부터 작업 완료 조건과 사람의 개입 경계를 명확히 분리하는 체계적인 접근이다.
서드 모먼트가 밝힌 향후 수십만 개 협력 에이전트 확장 구상은 현재 공개된 동시 1만 개 운영과 질적으로 다른 미래 과제다. 에이전트의 규모가 커지고 상호 의존성이 깊어질수록 개별 작업의 성공 여부만 단순 집계하는 평가 방식은 한계에 부딪힌다. 앞선 단계의 결과가 왜곡되었을 때 이를 감지해 후속 작업을 즉각 중단하고 검증하는 안전망이 연구 환경에 갖춰져 있는지 실제 시스템 단위에서 지속적으로 확인해야 한다.
