LoRA 비동기GRPO, 분리된 작업 사이의 가중치 버전과 병목을 관리하다
허깅페이스가 학습과 생성 작업을 별도 Jobs에 놓고 LoRA 어댑터를 버킷으로 공유하는 실험을 공개했다. 작은 전송량만큼 중요한 것은 같은 버전의 정책과 캐시를 유지하는 일이다. 특정 설정의 성능 결과를 모든 모델의 정확도나 처리량으로 확대할 수는 없다.
“GRPO” 검색 결과검색 초기화2편
350M 모델의 구조화 출력 학습, IFStruct 통과율 22.6%→29.7%
허깅페이스가 LFM2.5-350M에 100단계 GRPO 학습을 적용한 공개 실험을 소개했다. 동일한 서빙 환경의 2천 개 시험에서 통과율이 7.1%포인트 늘었다. JSON과 YAML의 차이, 형식 검증과 내용의 정확성을 구분해 결과를 읽는다.
