텍스트·이미지·음성·영상으로 선택지를 평가
클라우드플레어는 클레프(Clef) 모델군의 후속 모델 클레프 옴니를 공개했다. 기존 텍스트·이미지 입력에 음성 파일과 영상을 더해 하나의 요청에서 판단할 수 있게 했다는 발표다. 공식 모델 문서는 상태와 타입이 지정된 질문 스키마를 받아 각 질문의 허용된 선택지마다 확률을 반환하는 결정 모델로 설명한다. 자유로운 문장을 생성하는 대화 기능과는 용도가 다르다.
클레프 옴니는 총 300억 매개변수, 활성 30억 규모의 혼합 전문가 기반을 사용한다고 공식 문서는 안내한다. 호스팅 문맥은 64,000토큰이며 입력 100만 토큰당 가격은 0.15달러다. 미디어도 입력 토큰으로 환산되고 출력 토큰은 과금하지 않는다. 따라서 음성이나 영상을 지원한다는 사실은 그 파일의 처리 비용이 무료이거나 길이에 관계없이 일정하다는 뜻이 아니다.
플래시 가격 인하와 문맥 축소를 함께 발표
회사는 클레프 플래시의 입력 100만 토큰 가격을 0.09달러에서 0.038달러로 낮추면서 호스팅 문맥을 기존 64k에서 약 24k로 줄였다고 밝혔다. 확인 시점의 공식 플래시 문서는 정확한 한도를 24,576토큰으로 표기한다. 공개된 모델 가중치는 바꾸지 않았다는 설명이므로, 호스팅 서비스의 제약과 직접 운영하는 모델의 조건을 구분해야 한다.
플래시 문서는 미디어와 질문이 문맥 한도에 포함되며 이들이 한도를 넘으면 요청이 실패한다고 명시한다. 한도 안이라면 텍스트 state가 남은 공간에 맞게 잘릴 수 있다. 옴니 문서는 요청당 음성 네 개와 영상 두 개까지 받으며, 음성과 영상은 길이에 따라 입력 토큰을 계산한다고 안내한다. 가격표를 비교할 때는 문서 본문뿐 아니라 질문과 미디어가 차지하는 공간도 고려해야 한다.
기존 클레프의 속도 개선은 서빙 계층 변화
클라우드플레어는 기존 클레프 호스팅도 빨라졌다고 발표했다. 회사의 표에서는 약 800토큰 입력의 중앙값이 262ms에서 152ms로, 약 3,400토큰은 616ms에서 305ms로 줄었다. 이는 회사가 제시한 입력 크기별 서빙 측정이며, 모든 요청의 왕복시간이나 사용자가 처리하는 전체 업무의 개선률은 아니다.
회사는 최적화가 주로 모델 가중치나 구조가 아닌 서빙 인프라에서 이뤄져 새 가중치를 배포하지 않았다고 설명했다. 모델을 직접 운영하는 사람이 호스팅의 지연 감소를 그대로 얻는다고 해석할 수 없는 이유다. 또한 공개한 평가 표에서는 과제별로 클레프 옴니와 다른 모델의 순위가 달라, 입력 종류의 확대가 모든 텍스트 과제의 정확도 향상을 뜻하지 않는다.
확률 반환과 업무상 결정을 구분하기
ARCH.B의 관점에서 이 모델군의 실익은 자동화 흐름에 넣을 질문과 선택지를 구체적으로 정할 수 있다는 데 있다. 예를 들어 자료가 특정 조건을 충족하는지 분류하고 다음 처리 경로를 고를 때, 출력 형식을 제한하면 후속 시스템이 결과를 읽기 쉬워진다. 다만 선택지의 형식이 맞는 것과 실제 판단이 맞는 것은 서로 다른 검사다.
사용하는 팀은 어떤 입력에서 오판이 나는지와 그때의 확률을 함께 확인할 필요가 있다. 임계값 아래에서 사람이 검토할지, 재요청할지, 다른 경로로 보낼지는 모델이 제공하는 확률만으로 정해지지 않는다. 회사가 보정된 점수를 강조하더라도 자신의 업무 자료와 실패 비용에 맞는 기준을 따로 검증해야 한다. 결정 모델은 선택을 구조화하는 수단이지 업무 정책 자체가 아니다.
비용과 품질은 잘린 문맥까지 포함해 비교
가격을 낮춘 플래시를 도입할 때 가장 먼저 살필 것은 실제 입력 길이의 분포다. 평균 입력이 짧더라도 일부 긴 자료가 잘리면 중요한 조건이나 예외가 빠질 수 있다. 요청 성공 여부만 보지 말고 평가에 사용한 정보가 끝까지 포함됐는지 확인해야 비용 인하와 품질의 관계를 설명할 수 있다. 문서와 미디어가 함께 들어오는 요청에서는 이런 점검이 더 중요해진다.
아카이브에는 모델 ID와 실행 환경, 문맥 한도와 입력 구성, 질문 스키마를 함께 남기는 편이 유용하다. 같은 모델 이름이라도 호스팅 조건과 자체 서빙 환경이 다르면 비용과 지연시간이 달라질 수 있기 때문이다. 이번 후속 발표는 새 입력을 받는 옴니, 더 낮은 가격과 작은 문맥의 플래시, 기존 클레프의 인프라 최적화를 각각 다른 변화로 읽어야 한다.
출처
Cloudflare Blog의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
Introducing Clef-omni with full multimodality, plus a faster Clef and a cheaper Clef-flash (새 창)
