리더보드 순위의 한계와 실무 최적화: 토스의 LLM 자체 평가 체계 'Toss Benchmark'
비바리퍼블리카(토스)가 공개 글로벌 리더보드 점수와 현업 환경 간의 괴리를 해소하기 위해 자체 LLM 평가 체계 'Toss Benchmark'를 구축했습니다. 평가 언어와 추론(Reasoning) 설정에 따른 극심한 순위 역전을 검증하고, 지시 준수 및 도메인 지식 지표를 바탕으로 사내 모델 서빙 기준을 정립했습니다.
“벤치마크” 검색 결과검색 초기화1편
