입력 캐시와 출력 어휘 최적화로 드러난 AI 처리 비용의 구조
당근은 모델을 바꾼 뒤 프롬프트 캐시가 작동하지 않아 비용이 늘어난 운영 문제를 겪었고, 다르마 AI는 자체 모델의 출력 어휘를 재구성해 실행 비용을 줄였다고 밝혔다. 두 사례는 단가 수치보다 입력과 출력 중 어느 단계의 반복을 다루는지에 따라 최적화 방식이 다름을 보여준다.
“토크나이저” 검색 결과검색 초기화2편
GitHub Copilot의 Claude Haiku 5.5 탑재와 비용 구조 분석
GitHub Copilot 유료 플랜에 Anthropic의 경량 모델 Claude Haiku 5.5가 점진적 일반 제공 형태로 도입되었습니다. 빠른 반응 속도와 경량 작업을 내세웠으나 대규모 프롬프트에 붙는 5배 할증과 신규 토크나이저 채택으로 인한 실질 비용 계산이 요구됩니다.
