문서의 글과 그림을 같은 인코더로 읽다…NeoMME의 검색 비용·정확도 절충

생성 모델 대신 검색에 맞춘 인코더

H컴퍼니 연구진은 9월 3일 NeoMME라는 다국어·멀티모달 인코더 계열을 소개했다. 2억 6천만과 8억 매개변수 규모의 모델로, 글과 이미지 패치를 같은 양방향 트랜스포머에서 처리한다. 따로 사전학습한 비전 타워와 생성형 언어 모델을 붙이는 구조에서 벗어나 비생성 작업에 필요한 표현을 직접 만드는 접근이다.

저자들이 8월 31일 제출한 기술보고서 초록도 마스킹한 텍스트를 복원하면서 보이는 이미지에 근거한 표현을 학습한다고 설명한다. 검색용으로 미세조정한 모델은 문서 페이지의 이미지를 비교한다. 페이지에서 글을 추출하는 OCR만을 기준으로 삼지 않고 표와 도표, 배치가 함께 남은 이미지를 검색 대상으로 다루는 방향이다.

한 번의 계산에서 두 검색 표현을 만든다

공식 검색 모델 카드는 한 번의 순방향 계산에서 단일 밀집 벡터와 여러 부분의 벡터를 함께 반환한다고 설명한다. 밀집 벡터는 코사인 유사도로 비교하고, 세부 벡터는 질의 토큰과 문서 영역의 대응을 계산하는 후기 상호작용 방식으로 점수를 만든다. 같은 원자료에서 빠른 후보 탐색과 더 세밀한 비교에 사용할 표현을 얻는 구성이다.

카드의 260M 모델 사양은 문맥 길이 16,384토큰, 세부 벡터 128차원과 밀집 벡터 1,024차원을 안내한다. 모델 가중치는 Apache 2.0으로 공개했다. 이런 제공 조건은 자체 검색 실험의 출발점이지만 모델을 내려받는 것만으로 서비스에 필요한 색인과 문서 권한, 결과 검증까지 만들어지는 것은 아니다.

속도와 압축 수치는 시험 범위가 있다

연구진은 ViDoRe v3의 상위 열 결과를 평가하는 nDCG 지표에서 260M 검색 모델 약 0.523, 800M 약 0.556을 제시했다. 논문 초록은 같은 2048×2048 입력과 엔비디아 L40S에서 작은 모델의 페이지 인코딩 처리량이 ColModernVBERT의 약 두 배라고 설명한다. 발표의 속도 비교는 전처리된 이미지를 벡터로 바꾸는 단계의 시험이다.

공개 글은 벡터를 묶고 양자화한 설정에서 페이지당 색인 저장량을 약 1.5MB에서 6KB로 줄이며 기준 nDCG의 95% 이상을 유지했다고 보고한다. 이것은 동일 시험에서의 상대 검색 품질이며 질문의 95%에 정확하게 답했다는 뜻이 아니다. 압축된 문서 색인과 원본 파일, 생성 모델에 드는 저장·연산 비용도 서로 다른 항목이다.

페이지를 찾는 일과 답을 검증하는 일

ARCH.B는 이 모델의 가치를 문서에서 정보를 찾는 단계에 맞춰 평가해야 한다고 본다. 글의 추출 순서가 어긋나는 표나 도표가 있는 문서는 페이지 이미지의 관계가 검색에 도움이 될 수 있다. 그러나 관련 페이지를 찾은 다음 그 안의 수치나 문장을 정확하게 읽는 문제는 별도로 남는다. 검색 점수의 개선이 생성한 답변의 사실성을 그대로 보증하지 않는다.

자체 자료로 시험할 때에는 질의가 요구하는 페이지와 실제 반환 페이지를 비교하고, 언어나 문서 종류에 따라 실패가 몰리는지 살펴볼 수 있다. 다국어라는 설명을 한국어의 모든 표현에 대한 검증으로 확대하지 않는 이유다. 실제 문서에는 스캔 품질과 작은 글자, 여러 페이지를 함께 읽어야 하는 질문이 있어 공개 벤치마크 밖의 조건도 확인할 필요가 있다.

색인의 크기와 후보 손실을 함께 관리

밀집 검색으로 후보를 줄이고 후기 상호작용으로 다시 평가하는 구성에서는 첫 단계에서 필요한 페이지를 놓칠 수 있다. 작은 후보 목록은 비교 비용을 줄이지만, 두 번째 단계가 아무리 정교해도 이미 빠진 문서를 다시 판단할 수는 없다. 압축 설정 역시 저장량만이 아니라 어떤 질문의 순서가 달라지는지 함께 살펴야 의미 있는 절충이 된다.

운영팀은 같은 질의와 문서 묶음에서 밀집 검색, 세밀한 비교와 압축 설정을 나눠 측정할 수 있다. 추가 문서를 색인하는 시간, 질의를 처리하는 지연과 최종 근거의 유지 여부는 서로 다른 결과다. 한 가지 처리량 수치를 서비스 전체의 속도로 전용하지 않으면 어느 단계에 작은 모델을 쓰는 것이 실익이 있는지 판단하기 쉬워진다.

이번 공개는 자체 실험할 수 있는 가중치와 두 검색 표현을 제공했다는 소식이다. 이 기사에서는 모델을 실행하거나 한국어 검색 성능을 측정하지 않았다. 저자들의 벤치마크와 실제 모델 카드의 지원 조건을 바탕으로 설계 선택을 설명했으며, 팀별 비용 절감률은 자신의 자료와 인프라에서 별도로 확인할 값이다.