오픈소스 음성 합성 모델 급증과 기존 평가 병목의 해소
허깅페이스(Hugging Face) 오디오 팀이 다국어 텍스트 음성 변환(TTS) 및 음성 복제 모델을 객관적으로 비교·평가할 수 있는 '오픈 TTS 리더보드(Open TTS Leaderboard)'를 공식 블로그와 스페이스를 통해 공개했습니다. 허깅페이스 허브에 등록된 오픈소스 TTS 모델 수는 2026년 9월 말 기준 8,000개를 넘어설 정도로 폭발적인 증가세를 보이고 있습니다.
그러나 지금까지 업계에서 활용해 온 음성 품질 평가 방식은 주로 인간 주관 청취 평가(MOS, MUSHRA)나 블라인드 투표 아레나(TTS Arena v2, Artificial Analysis 등)에 머물러 있었습니다. 이러한 인간 참여형 평가는 신뢰도가 높은 반면, 평가 결과를 취합하는 데 통상 수 주의 시간이 소요되어 매일 쏟아지는 신규 모델을 제때 검증하기 어렵다는 병목 현상을 겪어왔습니다.
수 시간 단위로 단축된 3단계 객관적 평가 체계
허깅페이스는 기존에 수 주가 걸리던 수작업 평가를 파이프라인 자동화를 통해 '수 시간 단위'로 단축했다고 밝혔습니다. 리더보드는 모델의 명료도(Intelligibility), 음성 복제 시 화자 유사도(Speaker Similarity), 그리고 추론 속도 및 지연 시간(Speed & Latency)의 세 가지 축으로 구성됩니다.
명료도는 최신 오픈소스 음성인식 모델인 Qwen3-ASR(Qwen/Qwen3-ASR-1.7B-hf)을 이용해 생성된 음성을 텍스트로 전사한 뒤 단어 오류율(WER)과 문자 오류율(CER)을 계산합니다. 화자 유사도는 미세조정된 WavLM 대형 모델을 통해 추출한 화자 임베딩 벡터 간 코사인 유사도로 평가합니다. 추론 효율성은 NVIDIA H200 환경에서 오프라인 배치 처리 속도인 역실시간 배수(RTFx)와 스트리밍 환경의 첫 음성 출력 지연 시간(TTFA)을 측정합니다.
상용 서비스 편중 탈피와 초기 벤치마크 주요 지표
이번 리더보드의 출현은 오픈소스 모델에 대한 과소평가(Undersampling) 문제를 정면으로 다뤘다는 점에서 실무적 의의가 큽니다. 기존 Artificial Analysis 등 주요 아레나형 벤치마크는 92개 모델 중 오픈 웨이트 모델이 16개에 불과할 정도로 API 연동이 쉬운 상용 독점 서비스에 치우쳐 있었습니다. 자체 서버 구축이 필요한 오픈소스 모델은 벤치마크 진입 장벽이 높았던 셈입니다.
초기 벤치마크 결과에 따르면 영어 명료도(WER) 부문에서는 'hexgrad/Kokoro-82M', 'Supertone/supertonic-3', 'fishaudio/s2-pro' 등이 우수한 품질과 속도 간의 균형을 나타냈습니다. 실시간 스트리밍 대화형 인터랙션 환경에서는 'kyutai/pocket-tts'가 짧은 TTFA를 기록해 두각을 나타냈습니다. 특히 영어 성능이 높은 모델이라도 다국어 데이터셋(CV3 Eval)에서는 순위가 달라지는 경향이 확인되어, 언어별 세부 성능 확인의 필요성이 드러났습니다.
정량 지표의 한계와 실무 도입 시 고려할 제약
다만 실무 적용 시 자동화된 정량 지표의 명확한 한계를 인지해야 합니다. 허깅페이스 개발팀이 공식 문서에서 명시했듯, ASR 기반의 WER과 화자 임베딩 유사도는 발음의 정확성과 음색 일치도를 나타낼 뿐, 운율(Prosody), 감정 표현력(Expressiveness), 그리고 인간 청자가 느끼는 자연스러움(Naturalness)을 포착하지 못합니다. 발음은 또렷하지만 기계음처럼 들리는 모델이 리더보드 상위에 오를 수 있는 구조입니다.
또한 본 리더보드에서 제시하는 지연 시간과 처리량은 고성능 엔터프라이즈 하드웨어인 NVIDIA H200 및 단일 인프라 설정에서 도출된 결과입니다. 따라서 경량화된 온디바이스 환경이나 다른 서빙 프레임워크를 사용하는 상용 프로덕션 환경에서는 벤치마크와 체감 성능 간 괴리가 발생할 수 있습니다. ElevenLabs, OpenAI 등 대표적인 상용 독점 API와의 전면 직접 교차 검증 데이터가 동일 조건에서 포함되지 않은 점도 유의해야 합니다.
엔지니어링 평가 파이프라인의 재편과 활용 전략
결과적으로 오픈 TTS 리더보드는 기존의 인간 선호 평가 체계를 완전히 대체하는 수단이 아니라, 모델 선정의 '1차 필터링 도구(Shortlist)'로 규정하는 것이 적절합니다. 개발팀은 수천 개의 오픈소스 후보군 중 대기 시간(TTFA)과 명료도 기준을 충족하는 상위 모델들을 신속하게 추려낸 뒤, 소수의 유력 후보를 대상으로 최종 블라인드 청취 및 MOS 평가를 진행하는 복합 파이프라인을 구축할 필요가 있습니다.
현재 리더보드는 언어별 토글 기능을 통해 개별 언어별 순위를 분리해 제공하고 있으나, 향후 지원 언어 확대 일정이나 커뮤니티 기여 모델의 자동 갱신 주기는 구체적으로 밝혀지지 않았습니다. 실무 배포를 검토하는 엔지니어는 리더보드의 WER 순위만을 맹신하기보다 자사의 실제 타깃 도메인 음성 및 언어 환경에서 교차 검증을 반드시 병행해야 합니다.
출처
Hugging Face의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
Open TTS Leaderboard: Scalable Evaluation for Multilingual Text-to-Speech and Voice Cloning (새 창)
