리플렉션 빔 가중치 공개, 활성 230억과 전체 5,010억의 배포 비용은 다르다
허깅페이스가 리플렉션 빔의 가중치와 실행 경로를 소개했다. 총 5,010억 매개변수 중 토큰당 약 230억을 활성화하지만 전체 가중치를 보관할 자원은 필요하다. 100만 토큰 맥락과 여러 정밀도, 공급사 벤치마크를 실제 한국어 업무의 비용·성공률과 구분해 읽는다.
“Beam” 검색 결과검색 초기화1편
허깅페이스가 리플렉션 빔의 가중치와 실행 경로를 소개했다. 총 5,010억 매개변수 중 토큰당 약 230억을 활성화하지만 전체 가중치를 보관할 자원은 필요하다. 100만 토큰 맥락과 여러 정밀도, 공급사 벤치마크를 실제 한국어 업무의 비용·성공률과 구분해 읽는다.
