엔비디아는 10월 15일 Nemotron 제품군에 Super VL과 Bolt 구성을 소개했다. 당시 Super VL과 Bolt 74B-A9B 24GB는 이용 가능했고 소형 Bolt E4B 4GB는 23일 공개 예정으로 안내했다. 이 기사의 날짜 구분은 15일 발표 기준이다. 이번에는 실제 공개된 Bolt 74B 모델 카드의 압축·실행 조건을 중심으로 서버용 구성과 비교한다.
Super VL은 시각 입력을 결합한 하이브리드 모델
공식 Super VL 모델 카드는 총 120B 중 약 12B를 활성화하며 Mamba-2, 전문가 혼합, 어텐션 층을 결합했다고 설명한다. C-RADIO 시각 인코더와 연결기가 이미지와 영상의 정보를 언어 모델에 전달한다. 입력은 글·이미지·영상이고 출력은 글이다. 문서의 표와 차트, 화면을 읽어 도구를 호출하는 작업이 주요 용도다. 최대 맥락은 백만 토큰이지만 프롬프트와 시각 입력, 대화 이력, 도구 결과, 답변이 그 창을 공유한다. 각 배포 예제는 GPU 메모리와 동시 처리량에 맞춰 더 작은 맥락을 사용할 수 있다고 명시했다.
24GB 목표에 포함된 동시 요청과 문맥 조건
Bolt 74B 카드는 Super VL 120B에서 구조와 가중치를 함께 압축했다고 설명한다. 목표 배포 크기는 동시 요청 하나와 128K 문맥에서 24GB 미만이며, 예산에 양자화 이후 가중치와 실행 상태의 정밀도를 반영했다고 명시한다. 따라서 24GB를 가중치 파일만의 크기라고 설명하는 것도 정확하지 않다.
모델의 지원 최대 문맥은 256K지만 이 숫자가 24GB 목표의 전제와 같지는 않다. 전문가 가중치에 2비트를 쓰고 일부 층은 다른 정밀도로 유지하는 혼합 구성이다. 이미지·영상·이력·도구 결과·응답은 문맥 창을 공유한다. 긴 입력과 동시 요청을 늘릴 때도 같은 장비에서 동일한 여유가 남는다는 보장은 없다.
빠르다는 수치에는 비교 대상과 서빙 구성이 있다
발표는 Super VL의 동급 모델 대비 최대 다섯 배 처리량과 Dynamo 사용 시 더 많은 사용자·낮은 지연을 강조한다. 이는 엔비디아가 제시한 비교와 서빙 구성의 결과다. 모든 앱과 하드웨어가 같은 개선 폭을 얻는다는 일반 보장은 아니다. 공식 카드는 BF16과 NVFP4를 비교할 때 평가 설정과 도구를 고정했다고 설명하며, 벤치마크별 프롬프트·추론·파서·채점 설정을 재현 절차로 연결한다. 추론 모드를 바꾸면 생성 토큰과 정확도도 달라질 수 있다. 모델 압축 효과와 추측 디코딩, 서버 스택 최적화의 효과를 한 가지 수치로 합쳐 읽기 어려운 구조다.
지원 최대치와 예제의 실행값을 따로 적기
지원 문맥은 모델이 다룰 수 있도록 설계된 범위이고 배포 목표는 특정 설정에서 맞추려는 메모리 예산이다. 실제 요청에서는 시스템 지시문과 도구 결과도 공간을 쓰므로 사용자 문서만 256K까지 넣을 수 있다는 뜻으로 바꾸기 어렵다.
서버용 Super VL과 로컬용 Bolt를 비교한다면 매개변수뿐 아니라 문맥, 동시 처리, 정밀도, 사용하는 실행 도구를 맞춰야 한다. 같은 요청을 처리한 뒤의 정확성과 시간을 함께 보아야 압축으로 얻은 배포 이점이 업무에도 유지되는지 판단할 수 있다. 이번 기사에서는 두 모델을 실제 장비에 적재하거나 메모리를 측정하지 않았다.
| 표기 | 비교할 기준 |
|---|---|
| 74B·활성 9B | 전체 매개변수와 계산 참여량 |
| 24GB 미만 목표 | 동시 요청 1·128K 문맥 등 설계 전제 |
| 최대 256K 문맥 | 모델 지원 범위·모든 배포의 보장값은 아님 |
Super VL과 Bolt는 입력 유형과 실행 환경에 따라 역할이 다르다. 공개된 구성과 예정된 모델, 전체 매개변수와 압축 사양을 구분하고 같은 배포 조건 안에서 성능을 비교해야 한다.
ARCH.B 의견
엔비디아는 금융 문서 분석과 소프트웨어 개발, 보안 등에서 기업들이 모델을 후학습하거나 통합하고 있다고 소개한다. 이는 범용 모델 하나를 그대로 모든 업무에 투입하는 방식보다, 데이터와 도구·정책에 맞춘 조정이 제품군의 중요한 사용 경로라는 뜻이다. 다만 기업의 통합 사례가 각 분야의 정확성이나 자동 의사결정의 적합성을 독립적으로 검증한 결과는 아니다. 특히 문서에서 숫자를 읽는 능력과 그 숫자를 근거로 금융·의료 판단을 내릴 권한은 구분된다. 공개 가중치와 학습 자료는 평가를 직접 설계할 기회를 주지만, 응용 분야의 검증을 대신하지 않는다.
Super VL과 Bolt를 함께 내놓은 전략은 같은 에이전트 경험을 서로 다른 메모리·전력·서빙 환경에 배치하려는 접근으로 읽힌다. 서버에서는 여러 요청의 처리량, 로컬에서는 다른 앱과 공존할 여유가 중요해진다. 모델을 자체 기기에서 실행할 수 있어도 웹 검색이나 외부 도구가 연결된 작업 전체의 데이터 흐름까지 자동으로 로컬에 한정되지는 않는다. 따라서 배치 위치와 모델 크기 외에 맥락 길이, 동시 사용자, 도구 권한을 함께 설계해야 한다. 이번 공개는 그 선택지를 넓혔으며, 하나의 성능 순위로 세 모델의 적합성을 정하기는 어렵다.
