자연어 지시로 연결하는 시뮬레이션 도구
엔비디아는 2026년 10월 8일 AI 에이전트와 옴니버스(Omniverse) 라이브러리를 조합해 시뮬레이션 애플리케이션을 만드는 개발 사례를 소개했다. 개발자가 자연어로 목표를 전달하고 결과를 검토하며 수정을 지시하면, 에이전트가 장면 자산과 물리 계산, 렌더링 등 여러 구성 요소를 연결하는 방식이다. 공개된 사례들은 엔비디아가 설명한 개발 과정으로, 모든 프로젝트에 동일하게 적용되는 성능 보장은 아니다.
창고 로봇 사례에서는 물리 계산의 ovphysx, 장면 갱신의 ovstage, 렌더링의 ovrtx와 사용자 인터페이스를 연결했다. 에이전트가 애니메이션과 애플리케이션 코드를 구성했고, 개발자는 로봇을 1인칭·3인칭 시점에서 조작할 수 있는 환경을 만들었다고 회사는 밝혔다.
디지털 트윈을 센서 기록과 비교하다
또 다른 사례에서는 가상 카메라와 라이다(LiDAR)의 출력이 실제 기록과 얼마나 다른지 비교하면서 디지털 트윈을 수정했다. 엔비디아의 센서 검증 담당자는 에이전트가 장면을 만들고 측정 차이를 확인하게 했으며, 누락된 물체와 형상, 재료를 바꾸는 반복 작업을 이끌었다. 장면을 받아들일지 결정하는 기준은 카메라와 라이다의 지표였다고 회사는 설명했다.
이 과정은 보기 좋은 장면을 생성한 것만으로 검증이 끝나지 않는다는 점을 보여준다. 사진상 비슷한 두 공간도 센서 출력에서는 차이가 날 수 있으며, 해당 사례는 그 차이를 수정의 근거로 삼았다. 다만 회사가 공개한 개별 개발 사례이므로 다른 환경의 정확도나 실제 로봇 운용 성과로 확대 해석할 수는 없다.
공유 장면과 자산 검증이 맡는 역할
공식 교육 문서는 옴니버스 라이브러리를 필요한 기능별로 조합할 수 있는 도구로 설명한다. OpenUSD는 장면의 계층, 위치와 변환, 카메라, 재료 등을 기술하는 공통 기반이다. ovphysx는 충돌과 접촉, 중력을 계산하고, ovrtx는 카메라 이미지와 센서 출력을 만든다. 장면 표현을 공유하면서 서로 다른 계산 기능을 연결하는 구조다.
SimReady는 시뮬레이션에 사용할 자산이 충족해야 할 요구사항을 정의하며, 검증기는 선택한 프로필을 기준으로 문제의 위치와 심각도 등을 보고한다. ovstream은 서버에서 만든 화면을 브라우저로 보내고 입력을 되돌려 전달한다. 브라우저에 로컬 GPU가 없어도 된다는 설명은 이 스트리밍 구조에 관한 것으로, 서버의 렌더링 연산까지 필요 없어진다는 뜻은 아니다.
먼저 정해야 할 것은 성공의 조건
ARCH.B의 관점에서 이런 작업을 시작할 때 먼저 정할 것은 통과 조건이다. 로봇의 움직임을 비교하려는지, 센서 데이터를 맞추려는지, 공간을 브라우저에서 탐색하려는지에 따라 필요한 검사가 달라진다. 목표를 분리하지 않으면 화면이 잘 나타나는 결과를 물리적으로 정확한 결과와 혼동할 수 있다. 자연어 지시는 구성 과정을 돕지만 무엇을 성공으로 인정할지 대신 결정해 주지는 않는다.
작은 실험에서는 기준 장면을 보존하고 한 번에 한 조건을 바꾸는 접근을 고려할 수 있다. 변경한 자산과 재료, 센서 설정을 결과 지표와 함께 기록하면 에이전트의 수정이 어떤 차이를 만들었는지 비교하기 쉽다. 실패한 장면과 수정 이전의 결과도 남겨두면, 단순한 시연 영상보다 다음 설계 판단에 쓸 수 있는 자료가 된다.
시뮬레이션 결과를 설계 근거로 남기기
공간·제품 설계에서도 이 사례들을 최종 성능의 증명으로 받아들이기보다, 비교할 수 있는 실험 환경을 만드는 방법으로 읽는 편이 적절하다. 같은 장면에서 동선이나 물체 배치를 바꾸어 결과를 살피는 작업은 설계 대안을 검토하는 데 도움이 될 수 있다. 그러나 계산에 사용한 가정과 입력이 확인되지 않으면, 정교한 영상만으로 실제 공간의 안전성이나 이용 경험을 판단하기 어렵다.
자료를 아카이빙할 때에는 결과 이미지 옆에 장면 버전, 사용한 자산, 검증 프로필과 측정 기준을 함께 남기는 방식이 유용하다. 이렇게 해야 다른 사람이 결과를 다시 확인하거나 다른 조건으로 재실험할 수 있다. 이번 공개 사례에서 참고할 지점도 자동화 자체보다, 사람이 목표를 정하고 에이전트의 변경을 근거로 검토하는 반복 과정에 있다.
출처
NVIDIA Blog의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
Into the Omniverse: How Developers Turn Ideas Into Simulations With Frontier AI Agents (새 창)
