하이브리드 아키텍처와 경량 활성화로 완성한 온디바이스 MoE
리퀴드 AI(Liquid AI)가 로컬 환경에서 사설 에이전트를 구동하도록 설계된 오픈 웨이트 모델 'LFM2.5-24B-A2B'와 베이스 모델을 공개했습니다. 이 모델은 전체 240억 개(24B)의 파라미터를 탑재했으나, 토큰당 실제 연산에 동원되는 활성 파라미터는 약 24.5억 개(2.45B) 수준으로 제한한 희소 전문가 혼합(MoE) 구조를 채택했습니다. MoE 블록당 64개의 전문가 중 상위 4개를 선택하는 top-4 라우팅 방식을 사용해 연산 효율을 극대화했습니다.
모델 구조는 일반적인 순수 트랜스포머와 구별되는 독특한 하이브리드 설계를 지닙니다. 총 40개 레이어 가운데 30개는 게이트 단기 합성곱(double-gated short convolution) 블록으로, 나머지 10개는 그룹 쿼리 어텐션(GQA) 블록으로 결합했습니다. 컨텍스트 윈도는 이전 세대의 32K에서 4배 확장된 131,072(131K) 토큰에 달하며, 어휘집 크기도 128,000개로 넓혀 한국어와 영어를 포함한 16개 공식 지원 언어의 토큰 처리 효율을 개선했습니다.
도구 호출과 논리 추론을 결합한 5단계 사후 학습 파이프라인
리퀴드 AI는 사전 학습 단계에서 33조~36조 토큰의 대규모 데이터 예산을 투입했습니다. 이후 32K 컨텍스트의 추론·수학·코드·다국어 데이터 2조 토큰과 131K 장문 및 도구 호출 궤적 3,000억 토큰을 활용한 중간 학습(Mid-training)을 거쳐 에이전트 구동 기반을 마련했습니다. 이를 통해 긴 문맥에서도 도구 조작 궤적을 안정적으로 유지하도록 사전 튜닝을 거쳤습니다.
사후 학습은 지도 미세조정(SFT)부터 교사 모델 전문화, 비에이전트 과제 대상 다중 도메인 온폴리시 증류(MOPD), 에이전트 과제 대상 2차 MOPD를 거쳤습니다. 마지막 5단계에서는 OpenClaw, Hermes Agent, Pi, OpenCode 등 실제 오픈소스 에이전트 하네스 내부에서 상호작용하는 에이전트 강화학습(Agentic RL)을 완수했습니다. 또한 응답 전 강제 명시적 사고를 수행하는 reasoning-only 구조를 적용해 think 태그를 기본 삽입합니다.
자체 벤치마크 성과와 온디바이스 추론 속도 지표
리퀴드 AI의 자체 테스트베드 측정 발표에 따르면, LFM2.5-24B-A2B는 애플 M5 Max 환경에서 초당 184 토큰, AMD 라이젠 AI 맥스+ 395 환경에서 초당 114 토큰의 디코딩 속도를 기록했습니다. 기업 측은 동급 MoE 모델 대비 최대 1.7배 빠르며 메모리 점유율이 가장 낮다고 주장합니다. 단일 엔비디아 B300 GPU 서버 환경에서는 고동시성 조건 기준 초당 21,000개 이상의 출력 토큰을 처리한다고 덧붙였습니다.
에이전트 및 제어 평가 지표에서도 높은 수치를 제시했습니다. 지시 준수 평가인 IFEval에서 96.75점을 기록했고, 자동화 워크플로를 측정하는 AutomationBench에서는 27.69점을 기록해 비교군인 Qwen3.6-35B-A3B(8.72점)를 크게 앞섰다고 밝혔습니다. 실시간 도구 활용 평가인 LiveClaw(48.09점)와 ToolSandbox(80.71점)에서도 경쟁 모델 대비 우세한 성과를 보였다는 것이 제작사의 설명입니다.
제작사 공개 한계와 지식 집약 과제의 구조적 취약점
공개된 성능 수치를 검토할 때 주의할 점은 지식 집약 과제와 복합 코딩 영역에서의 열세입니다. 제작사가 직접 공개한 자료에 따르면, GPQA Diamond(74.42점 vs Qwen3.6 83.69점)와 HLE(7.40점 vs Gemma-4 8.57점), 그리고 SWE-Bench Verified(51.00점 vs Qwen3.6 66.20점)에서 총 파라미터가 더 큰 모델들에 미치지 못했습니다. 제작사 역시 지식 집약 작업 시 모델 단독 사용보다 RAG나 웹 검색 연동을 권장하고 있습니다.
또한 발표된 지표는 리퀴드 AI 자체 테스트베드인 'Pipette' 환경에서 vLLM 서빙을 통해 측정한 결과이며, 아직 제3자 기관의 독립적인 재현 검증은 수행되지 않았습니다. API 비용은 OpenRouter 기준 백만 입력 토큰당 $0.05, 백만 출력 토큰당 $0.70으로 책정되었으나, 가중치를 자체 인프라에 올릴 경우 Liquid Open License의 상용 매출 조건 충족 여부를 확인해야 합니다.
실무 온디바이스 도입 시의 메모리 장벽과 런타임 주의점
LFM2.5-24B-A2B의 활성 연산량이 2.45B 수준이라 하더라도, 가중치 전체를 적재하려면 실제 물리 메모리에 240억 개 파라미터가 모두 올라가야 합니다. 비양자화 기준 최소 48GB 이상, 4비트(Q4) 양자화를 적용하더라도 시스템 구동 여유분을 포함해 약 15~18GB 내외의 통합 메모리나 VRAM이 필요합니다. 따라서 초경량 모바일 기기나 저사양 엣지 환경에서 즉각 구동하는 데는 명확한 하드웨어 하한선이 존재합니다.
소프트웨어 스택 측면에서는 런타임 호환성을 주의 깊게 살펴야 합니다. 특히 애플 실리콘 환경에서 구버전 mlx-lm 라이브러리를 사용할 경우 MoE 라우팅 오류가 발생할 수 있으므로, 반드시 최신 MLX 런타임 업데이트를 적용해야 정상적인 추론이 가능합니다. 실무에서는 온디바이스 모델에 지식 암기를 요구하기보다 로컬 도구 조작과 시스템 제어 오케스트레이션에 특화시키는 아키텍처 구성이 현실적입니다.
출처
Hugging Face의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
Run fast, private agents on-device with LFM2.5-24B-A2B (새 창)
