단일 파운데이션 모델군의 올림피아드 동시 공략
엔비디아 연구진은 공식 블로그와 기술 논문을 통해 자사의 기반 모델 제품군인 '네모트론 3(Nemotron 3)'를 활용하여 2026년 국제수학올림피아드(IMO)와 국제정보올림피아드(IOI) 두 영역에서 동시에 금메달 수준의 성과를 달성했다고 밝혔습니다. 이번 발표의 핵심은 수학 증명과 고난도 알고리즘 프로그래밍이라는 서로 다른 고난도 추론 영역을 위해 모델을 백지상태에서 각각 설계하지 않고, 공통 기반 모델에 사후 훈련(Post-training)과 추론 시점 연산(Test-time Compute)을 결합하는 재사용 가능한 방법론을 적용했다는 점입니다.
연구팀에 따르면 고품질 데이터 선별, 지도 미세조정(SFT), 강화학습(RL)을 순차적으로 거친 뒤 피드백 기반 추론 루프를 결합하는 표준 파이프라인을 구축했습니다. 이를 통해 범용 파운데이션 모델을 특정 최고난도 문제 해결 영역으로 전환하는 체계적인 '전문화 레시피(Specialization Recipe)'의 실효성을 입증했다고 설명했습니다.
IOI 2026: 550B MoE와 반복 피드백 루프의 결합
알고리즘 경쟁 프로그래밍 부문인 IOI 2026 과제에는 혼합 전문가(MoE) 구조를 갖춘 '네모트론-3-Ultra-CC' 모델이 투입되었습니다. 해당 모델은 총 550B 파라미터 중 토큰당 55B 파라미터가 활성화되는 구조로 설계되었으며, 과거 20년간 16개 대회 및 프로그래밍 플랫폼에서 엄선한 22,000개 문제 데이터와 대규모 합성 추론 흔적(Synthetic reasoning traces)을 기반으로 사후 훈련을 거쳤습니다.
추론 과정에서는 생성된 후보 코드를 평가기 피드백을 통해 지속적으로 교정하는 자체 반복 루프인 '젠코렉트(GenCorrect)' 기법이 적용되었습니다. 이를 바탕으로 모델은 600점 만점에 535.4점을 기록하여 2026년 공식 금메달 기준선인 361.12점은 물론 당해 대회 인간 참가자 최고 점수인 498.27점을 상회하는 수치를 보고했습니다.
IMO 2026: 정형 도구 없는 순수 자연어 증명 전개
수학 올림피아드 과제에서 엔비디아는 린(Lean)이나 이자벨(Isabelle) 같은 정형 증명기(Formal Prover), 파이썬 실행기, 외부 검색 엔진을 일체 배제하고 순수 자연어 텍스트로만 논리적 증명을 작성하는 방식을 채택했습니다. 15,818개 문제에서 추출한 414,890건의 증명 생성·결함 비판·검증 데이터로 SFT를 수행하고, 모델 한계선 부근의 9,597개 문제로 RL을 진행한 체크포인트들을 기본 범용 모델과 결합한 3중 앙상블 체계를 가동했습니다.
추론 단계에서는 '생성-비판-수정' 루프와 방대한 연산량을 투입하는 최종 답안 선별 단계를 통해 답안을 도출했습니다. 엔비디아 연구팀의 답안은 공식 IMO 채점단(Official IMO Graders)의 채점을 거쳐 총 6개 문제 중 4개 문제에서 만점을 기록하며 42점 만점에 30점을 획득해 공식 금메달 컷오프(29점)를 넘겼습니다.
평가 환경의 비대칭성과 테스트타임 연산 비용 분석
엔비디아가 발표한 성과를 실무적 관점에서 해석할 때는 대회별 평가 환경의 위상 차이와 추론 비용을 분리해서 보아야 합니다. IMO의 경우 엔비디아 제출 답안이 실제 공식 채점위원들의 정식 채점을 거쳐 30점을 부여받았으므로 채점 신뢰도가 확보되었습니다. 반면 IOI는 대회 시간 제약과 인터넷 차단 조건을 모사한 실시간 구동이었으나, 주최 측의 감독이 배제된 비공식 벤치마크(Unofficial, unsupervised benchmark) 환경에서 측정되어 공식 순위표에 공식 등재된 것은 아닙니다.
또한 두 성과 모두 단일 질의응답(One-shot)으로 도출된 결과가 아닙니다. 수차례에 걸친 후보 생성, 비판, 검증, 고비용 탐색을 수반하는 테스트타임 연산 예산(Test-time search)을 대량으로 소모한 파이프라인의 결과물입니다. 특히 자연어 수학 증명은 자동화된 정형 컴파일러가 없기 때문에 검증 오류나 환각(Hallucination)을 걸러내기 위해 다단계 앙상블 및 메타 검증에 막대한 컴퓨팅 자원이 요구된다는 기술적 제약이 존재합니다.
오픈소스 자산 공개와 실무 연구 환경에서의 시사점
엔비디아는 연구의 재현성을 위해 550B 경쟁 프로그래밍 모델의 4비트 양자화 가중치(NVFP4)와 IMO 훈련 데이터 전량, 200개 올림피아드급 수학 문제로 구성된 평가 세트, 그리고 전체 추론 코드를 담은 NeMo Skills 파이프라인을 오픈소스로 공개했습니다. 이는 초대형 독점 모델을 API 형태로만 제공하는 경쟁사들과 차별화되는 실용적 기여로 평가할 수 있습니다.
엔지니어링 실무진 관점에서 550B 규모 모델의 직접 배포는 인프라 비용 부담이 크지만, 공개된 데이터 선별 기준과 오류 수정 루프(GenCorrect 등) 알고리즘은 도메인 특화 경량 모델 훈련에 즉시 이식할 수 있는 자산입니다. 실제로 엔비디아가 제시한 소형 모델(30B-A3B) 실험 결과에서도 추론 루프 결합 시 성능이 비약적으로 향상된 점은, 무작정 파라미터 규모를 키우기보다 사후 훈련 및 테스트타임 탐색 구조를 고도화하는 것이 기업 환경에서 훨씬 효율적인 대안이 될 수 있음을 시사합니다.
출처
Hugging Face의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
One Model Family, Two Gold-Level Results: Fine-Tuning Nemotron for IOI and IMO (새 창)
