당근 커뮤니티홈팀과 다르마 AI는 10월 21일 서로 다른 AI 처리 비용 사례를 공개했다. 당근은 같은 지시문에 동네 글을 바꿔 넣는 주제 분류 작업에서 문제를 파악했고, 다르마 AI는 포르투갈어 에세이를 채점하는 자체 모델에서 비용 구조를 점검했다. 두 팀 모두 단순히 작은 모델을 선택하거나 낮은 단가표를 고르는 방식만으로는 실제 비용 변화를 충분히 설명할 수 없다는 점을 확인했다.
두 사례의 비교 기준은 단순한 절감률의 크기가 아니다. 하나는 입력을 읽은 계산을 다음 요청에서 얼마나 재사용했는지를 다뤘고, 다른 하나는 답을 쓸 때 반복되는 표현을 얼마나 잘게 나눴는지를 다룬다. 같은 토큰이라는 단위를 기준으로 삼고 있더라도 시스템 내부에서 손댄 계층과 해결하려 한 단계가 서로 달랐다.
당근의 캐시 히트율 급락과 명시적 경계 설정
당근은 주제 분류 모델을 교체하면서 단가는 20% 낮아졌지만 요청당 비용은 3.2배가 됐다고 보고했다. 토큰 기준 캐시 히트율이 85.8%에서 2.3%로 내려간 것이 직접적인 원인이었다. 고정 지시문과 매번 달라지는 동네 글을 한 메시지에 함께 넣었는데, 새 모델에서 자동으로 저장한 경계가 바뀌는 글까지 포함한 탓이라고 설명한다.
이 팀은 사내 플랫폼이 첫 변수 앞, 즉 고정된 부분의 끝에 명시적 경계를 두도록 고쳤다. 이후 캐시 히트율은 약 95%로 오르고 요청당 비용은 수정 전의 약 5분의 1로 줄었다는 기록이다. 다만 이는 회사가 관찰한 해당 작업의 수치이며, 다른 모델이나 호출 간격에서 같은 결과를 보장하지는 않는다고 덧붙였다.
오픈AI의 캐시 경계 규칙과 응답 생성의 구분
오픈AI의 현재 공식 문서도 공통된 앞부분이 있다고 해서 항상 그 부분을 캐시에서 읽는 것은 아니라고 설명한다. 저장한 경계가 변동 내용까지 포함하면 다음 요청의 짧은 공통 부분과 일치하지 않을 수 있다. 이 조건을 확인하면 당근의 수정이 프롬프트 문장을 줄인 일보다 요청의 재사용 단위를 바꾼 일에 가깝다는 점이 드러난다.
프롬프트 캐시는 이전 답을 그대로 돌려주는 응답 캐시와도 다르다. 저장된 중간 계산을 활용하면서도 출력은 새로 생성한다. 따라서 입력의 재사용률을 개선한 것과 매번 새로 쓰는 출력의 양을 줄인 것은 엄연히 구별해야 한다. 두 번째 사례인 다르마 AI의 실험은 바로 그 출력 쪽을 살폈다.
다르마 AI의 VocabX 실험과 독립된 토큰 설계
다르마 AI의 VocabX 실험은 Qwen3-4B 기반 채점기가 반복해 쓰는 포르투갈어와 JSON 형식에 맞춰 어휘를 다시 구성했다. 같은 기반 모델, 데이터, 학습 방식으로 토크나이저를 달리한 일곱 모델을 훈련하고, 같은 장비에서 요청 500개를 비교했다. 이는 단순히 외부 API의 프롬프트를 바꾸는 작업과는 방법이 다르다.
연구진은 평균 출력이 350토큰에서 101토큰으로 줄고, 실행 시간으로 산정한 비용이 77% 낮아졌다고 보고했다. 처음에는 점수와 주변 JSON을 한 토큰에 합쳤다가 평가가 나빠졌다. 점수를 독립된 토큰으로 남겨 두자 출력이 두 토큰 길어져도 평가 점수와 비용이 함께 개선됐다는 설명이다. 논문은 준비 및 심사 중인 상태여서 수치와 방법은 현재 공개 보고의 범위로 읽어야 한다.
재사용률이 같아도 입력과 출력의 비중은 남는다
반복 지시문이 긴 분류 작업은 캐시에서 읽는 입력의 비중이 중요하다. 반대로 새로 쓰는 JSON이나 문장이 긴 작업에서는 출력의 토큰 분할도 비용과 시간을 좌우한다. 같은 요청 수를 처리하더라도 어느 쪽에 계산이 몰리는지 다르면 먼저 고칠 지점이 달라진다.
OpenAI 공식 문서는 캐시된 앞부분을 재사용해도 응답은 새로 생성한다고 명시한다. 따라서 캐시를 잘 읽는다는 기록은 이전 정답을 그대로 반환했다는 뜻이 아니다. VocabX처럼 토크나이저와 학습을 바꾸는 실험은 다시 다른 계층이다. API 호출 배치의 조정과 자체 모델 제작을 같은 프롬프트 최적화로 묶지 않아야 한다.
| 사례 | 조정한 것 | 제시한 비용 기준 |
|---|---|---|
| 당근 | 입력에서 재사용할 경계 | 운영 요청의 청구 비용 |
| VocabX | 출력 어휘·토크나이저와 학습 | 정해진 장비의 실행 시간 기반 비용 |
두 절감률을 곧바로 비교할 수 없는 이유는 명확하다. 당근의 수치는 실제 요청의 청구 비용이고 VocabX의 수치는 고정된 실험 환경에서 실행 시간을 바탕으로 계산한 비용이다. 반복 지시문이 많은 분류와 긴 구조화 응답을 쓰는 채점은 입력과 출력의 비중부터 차이가 난다.
당근은 업무의 입력을 바꾸지 않고 재사용 경계를 고쳤고, 다르마 AI는 모델의 어휘와 학습 구성을 바꿨다. 전자는 호출을 조립하는 계층에서 이뤄진 대응이고, 후자는 모델을 제작하는 계층에서 가능한 선택이다. 관리형 API를 쓰는 팀과 자체 모델을 훈련하는 팀이 검토할 비용의 지점은 결코 같지 않다.
ARCH.B 의견
단가표상의 토큰 단가가 낮아진다고 해서 실제 서비스의 총비용이 저절로 줄어들지는 않는다. 당근의 경험처럼 캐시 경계가 틀어져 재사용률이 무너지면 단가 인하분보다 훨씬 큰 비용 증가를 겪게 되며, 다르마 AI의 실험처럼 출력 구조를 손대지 않으면 불필요한 서식 생성 비용을 지속해서 치르게 된다. 최적화 작업은 단일 수치를 좇기 전에 비용이 누수되는 구간이 입력의 중복 계산인지 출력의 비효율적 생성인지 판별하는 데서 출발해야 한다.
VocabX에서 드러난 핵심은 가장 짧게 압축한 형태가 최선의 선택은 아니었다는 사실이다. 점수라는 핵심 판단 값을 JSON 서식과 한 토큰으로 합치자 모델의 평가 성능이 저하되었고, 점수를 독립된 토큰으로 분리해 출력이 두 토큰 길어지는 것을 감수한 뒤에야 성능과 절감을 동시에 확보할 수 있었다. 줄여야 할 반복 서식과 온전히 보존해야 할 모델의 고유 판단 단위를 정교하게 분리해 내는 설계가 분류나 요약 도구 구축 전반에 걸쳐 요구된다.
두 사례의 지표는 적용 환경과 측정 기준이 완전히 달라 직접적인 순위화가 불가능하다. 당근의 수치는 실제 운영 환경에서 발생한 호출 청구액의 변화이며, VocabX의 수치는 고정 장비에서 실행 시간으로 계산한 추정치다. 또한 특정 언어와 JSON 형식에 맞춰 토크나이저를 맞춤화한 결과는 다른 언어나 일반적 업무 환경에 동일하게 작동하지 않을 수 있으므로, 각 조직은 자신이 제어할 수 있는 계층이 호출 단인지 모델 제작 단인지를 먼저 점검해야 한다.
