입력 캐시와 출력 어휘 최적화로 드러난 AI 처리 비용의 구조
당근은 모델을 바꾼 뒤 프롬프트 캐시가 작동하지 않아 비용이 늘어난 운영 문제를 겪었고, 다르마 AI는 자체 모델의 출력 어휘를 재구성해 실행 비용을 줄였다고 밝혔다. 두 사례는 단가 수치보다 입력과 출력 중 어느 단계의 반복을 다루는지에 따라 최적화 방식이 다름을 보여준다.
“처리비용” 검색 결과검색 초기화1편
당근은 모델을 바꾼 뒤 프롬프트 캐시가 작동하지 않아 비용이 늘어난 운영 문제를 겪었고, 다르마 AI는 자체 모델의 출력 어휘를 재구성해 실행 비용을 줄였다고 밝혔다. 두 사례는 단가 수치보다 입력과 출력 중 어느 단계의 반복을 다루는지에 따라 최적화 방식이 다름을 보여준다.
