새 연산 장치와 개발 환경을 함께 발표
엔비디아와 코어위브는 9월 30일 AI 에이전트의 학습과 실제 운영을 연결하는 인프라 발표를 공개했다. 코어위브는 샌프란시스코 Fully Connected 행사에서 Spectrum-X 102.4T 이더넷을 결합한 베라루빈 NVL72의 이용 가능성을 알렸다. 첫 운영 고객은 AI 소프트웨어 엔지니어 Devin을 개발한 코그니션이다. 원문은 초기 접근 고객을 대상으로 설명하므로 모든 고객이 즉시 같은 규모의 자원을 확보한다는 뜻은 아니다. 별도의 Vera CPU는 앞으로 제공할 대상으로 발표했다. 동시에 공개한 Forge는 학습·추론·평가·에이전트 개발을 연결하는 환경이다. 새 하드웨어의 도입과 업무 도구의 제공 범위를 서로 다른 층위로 살펴볼 필요가 있다.
4.8배는 특정 초기 추론 처리량 비교
코그니션은 FrontierCode의 일부 과제를 골라 에이전트가 수행하는 소프트웨어 개발 작업을 만들고, SWE-2 추론에서 베라루빈 NVL72를 GB200 NVL72와 비교했다고 설명했다. 초기 시험의 총 토큰 처리량 증가폭은 최대 4.8배로 제시됐다. 동시 요청과 긴 문맥을 처리하는 환경에서의 처리량 수치이므로 단일 사용자의 응답 지연이나 과제 해결률이 같은 비율로 개선됐다는 결론은 아니다. 또한 모든 모델과 입력 길이에 보편적으로 적용되는 값도 아니다. 실제 운영 비용을 판단하려면 사용량에 맞는 자원 구성과 요청 대기 시간, 성공한 작업당 비용을 함께 확인해야 한다. 발표의 숫자는 그 비교를 시작하는 자료이며 독립적인 종합 성능 검증은 아니다.
운영 기록을 다음 실험에 연결하는 Forge
코어위브의 별도 보도자료는 Forge가 Weights & Biases Models, OpenPipe의 후속 학습 역량과 오픈소스 marimo 노트북 프로젝트를 자사 서비스와 결합한다고 설명한다. 운영 중의 결과를 관찰하고 데이터를 선별해 모델을 개선한 뒤 평가하고 다시 실행하는 순환을 연결하려는 구성이다. 엔비디아 원문은 실험을 분석하고 다음 작업을 제안하는 ARIA와 격리된 실행 환경 Sandboxes를 일반 제공 단계로 소개했다. Agent Lens는 운영 에이전트의 기록에서 실패를 살펴보는 새 서비스다. 이러한 도구가 하나의 환경에 놓인다는 발표와, 고객이 실제로 모델 품질을 얼마나 높였는지는 구분된다. 제품 이름을 묶는 것만으로 자동 개선의 결과가 입증되지는 않는다.
관리형 학습에도 사용자가 정할 것이 남는다
공식 서버리스 강화학습 안내는 사용자가 에이전트와 실행 환경, 보상, 하이퍼파라미터를 관리하고 코어위브가 GPU 자원과 분산 학습을 맡는다고 설명한다. 클러스터를 직접 준비할 필요가 없다는 말은 모델을 개선할 평가 기준까지 자동으로 정해준다는 뜻이 아니다. 안내는 프롬프트·도구·문맥 수정으로 해결되지 않는 다단계 작업 중 수행 결과를 점수화할 수 있는 경우에 강화학습을 적용하도록 구분한다. 원하는 행동의 예제가 이미 정리됐다면 지도 미세조정부터 시작할 수도 있다. 따라서 인프라의 편의와 보상 설계의 적절성은 별도 판단 대상이다. 실행 기록을 많이 모으더라도 좋은 행동과 실패를 구분하는 기준이 있어야 다음 학습에 유용해진다.
체크포인트 갱신과 프리뷰 범위
엔비디아는 관리형 추론과 RL Rollouts에 오픈소스 추론 프레임워크 Dynamo를 사용한다고 밝혔다. RL Rollouts는 비공개 프리뷰로, 운영 중인 배포에 새 체크포인트를 불러와 재배포 없이 강화학습을 이어가는 기능으로 설명됐다. 서버리스 강화학습 제품 안내에서도 실제 사용자 상호작용 기록을 활용하는 환경 없는 학습은 프리뷰라고 명시한다. 일반 제공 Sandboxes와 이런 실험적 기능의 상태를 같은 것으로 묶을 수 없다. Vera CPU의 샌드박스 시작 시간이나 Terminal-Bench 개선도 회사의 시험 결과이며, 처리량·시작 시간·벤치마크 성과는 측정 대상이 각각 다르다. 한 지표를 에이전트 전체 성능으로 대신하지 않았다.
도입의 핵심은 손실 없는 피드백의 연결
이번 발표가 겨냥하는 문제는 운영에서 발견한 실패가 다음 학습과 평가로 잘 전달되지 않는 단절이다. Forge를 검토하는 팀은 자원 확보의 속도뿐 아니라 어떤 실행 기록을 저장할지, 학습 데이터로 선별하는 기준과 새 버전의 개선을 확인하는 평가를 함께 정해야 한다. 모델이 바뀐 뒤에도 같은 과제를 비교할 수 있어야 연결된 환경의 효과를 판단할 수 있다. 베라루빈의 초기 고객 운영은 연산 공급의 진전을 보여주고, Forge는 도구 사이의 연결을 제품화하는 방향을 보여준다. 두 변화의 실익은 각 팀의 작업에서 처리량과 실패 유형, 비용을 나눠 확인할 때 더 구체적으로 드러날 것이다.
출처
NVIDIA Blog의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
From Training to Production, NVIDIA and CoreWeave Close the Loop on Agentic AI (새 창)
