엔비디아와 IIT 마드라스의 AI4Bharat가 10월 16일 허깅페이스 기고에서 약 2.8조 토큰 규모의 인도 언어 사전학습 자료와 생성 파이프라인을 소개했다. 발표 시점에는 자료를 곧 공개할 예정이라고 설명하므로 모든 데이터가 이미 내려받기 가능한 상태라고 단정해서는 안 된다. 대상은 인도 헌법에 수록된 22개 언어이며, 12개 언어에는 로마자 표기 자료도 포함한다. 여기서 고유 문자 자료는 현지 언어로 처음 쓰인 원문이라는 뜻이 아니라 번역문이 사용하는 문자 체계를 가리킨다. 로마자 표기 역시 영어 번역과 다르다.
영어 원문에서 번역·평가·수정으로
자료는 선별한 영어 문서를 번역하고 원문과 대조하는 방식으로 구성했다. 수학·코드·표처럼 보존해야 할 내용을 구분하며, 12개 언어 흐름은 번역 결과의 평가와 필요한 수정, 일부 자료의 로마자 변환을 연결한다. 나머지 10개 언어에는 별도 번역 흐름을 적용했다. 발표가 밝힌 75점 문턱은 오류 유형과 심각도를 다루는 평가 기준의 점수다. 인간의 정답 판정에서 75%가 맞았다는 뜻은 아니다. 같은 원문의 여러 언어·문자 변형이 존재하므로 전체 기록 수도 독립적인 원문 문서 수로 해석할 수 없다.
공개 플러그인이 드러내는 실행 제약
공식 플러그인 문서는 문서 전체 번역과 겹치는 구간으로 나누는 번역을 구분한다. 긴 문서의 누락이나 시간 초과 문제를 다루기 위한 설정이며, 구간 번역을 켜면 전체를 다시 쓰는 수정 루프와 함께 사용할 수 없어 관련 수정 횟수를 0으로 바꾸고 경고한다. 평가 모델은 번역 모델과 같더라도 명시적으로 지정하도록 되어 있다. 기본적으로 코드 블록과 URL은 문자 체계 변환에서 보호한다. 이런 제약은 공개된 절차를 그대로 실행하기만 하면 모든 언어에서 같은 품질을 얻는다는 기대에 구체적인 경계를 그어 준다.
긴 문서를 나눠도 평가는 합친 문서를 본다
공개 플러그인은 긴 문서를 겹치는 창으로 나눠 번역한 다음 겹치지 않는 구간을 추출해 합친다. 평가 단계는 이렇게 합쳐진 전체 문서를 읽는다. 번역을 구간별로 처리한다는 설정이 평가까지 각 구간만 따로 진행한다는 뜻은 아니다.
또한 구간 번역과 전체 문서 재작성 루프는 함께 쓰지 않는다. 문서 전체를 다시 쓰면 긴 입력을 나눈 목적을 되돌릴 수 있기 때문이다. 따라서 수정을 여러 번 수행하는 구성과 긴 문서를 창으로 나누는 구성을 같은 기본값으로 비교하면 실제 실행 경로가 달라질 수 있다.
| 항목 | 전체 문서 번역 | 창 분할 번역 |
|---|---|---|
| 초기 번역 | 문서 전체 | 겹치는 구간 후 추출·병합 |
| 평가 단위 | 문서 전체 | 병합한 문서 전체 |
| 전체 재작성 루프 | 설정에 따라 사용 | 호환되지 않아 횟수 0으로 조정 |
인도 언어 자료 계획은 번역과 평가·수정의 공개 절차를 함께 제시했다. 토큰 규모와 공개 일정, 합성 번역과 지역의 원문 지식, 데이터 제작과 학습 성과를 각각 나눠 살펴야 한다.
ARCH.B 의견
기고는 인도 언어 추가 학습 전후의 성능 향상도 제시하지만 그 단계에는 합성 자료와 자연 발생 자료가 함께 들어갔다고 명시한다. 따라서 향상분을 이 합성 말뭉치 하나의 효과로 돌릴 수 없다. 자료 총량과 실제 학습에 사용한 토큰, 평가에 포함한 언어 범위를 따로 적어야 비교가 가능하다. 팀이 적용한다면 고정한 학습 예산 안에서 자연·합성 비율을 바꾸고, 언어별 지표와 기존 영어 성능을 동시에 확인하는 방식이 유용하다. 같은 영어 원문에서 파생된 자료가 평가와 학습 양쪽에 흩어지지 않도록 원문 단위로 분리하는 문제도 중요하다.
원문과 번역문이 잘 대응해도 현지 사회에서 필요한 지식이 충분히 들어 있다는 뜻은 아니다. 기술 문서가 풍부한 영어 자료를 옮기는 전략은 정보 접근을 넓히지만, 지역의 고유한 표현과 생활 경험을 새로 만들어 주지는 않는다. 번역 모델이 자기 결과를 평가하는 흐름에서는 공통된 오류를 놓칠 가능성도 별도로 점검해야 한다. 도입 전 소규모 표본을 원어민이 읽고 누락·잔여 영어·문자 혼합을 분류한 뒤 자동 점수와 비교할 필요가 있다. 이 검토 결과에 따라 언어별 채택 기준을 조정하는 것이 총량을 일률적으로 늘리는 것보다 사용 목적을 명확하게 만든다.
원어민 표본 검수의 대상과 범위를 공개하면 자동 점수의 약점을 다른 팀도 확인할 수 있다. 같은 총량이라도 어떤 언어와 문자에서 오류가 남았는지 보여 주는 편이 실제 모델 선택에 더 유용하다.
실험을 공유할 때는 데이터 버전뿐 아니라 번역 프롬프트, 평가 모델, 문서 분할 설정과 채택 기준을 함께 남겨야 한다. 수정으로 회수한 결과와 처음부터 기준을 넘긴 결과를 구분하면 어떤 오류가 다시 작성되어 해결됐는지 검토할 수 있다. 플러그인이 반환한 후보와 점수가 학습 말뭉치에 들어갈 자격을 자동으로 확정하는 것은 아니다. 데이터 이용 조건을 확인하고 팀의 목적에 맞는 필터를 적용하는 과정이 뒤따른다. 이 발표의 실질적인 기여는 자료의 규모와 함께 그 판단 과정을 살펴보고 바꿀 수 있는 실행 절차를 제시했다는 데 있다.
