토스, 모델 신청부터 호출·도구 권한·용량 관리까지 잇는 AI 플랫폼 공개
토스 AI Platform 팀이 프로젝트 단위의 모델 사용 신청과 실제 요청 제어를 연결한 구축 사례를 소개했다. 모델 호출과 사내 도구 실행, 누적 예산과 분당 처리 용량을 구분하고, 처리 중인 요청의 토큰을 먼저 예약하는 방식으로 공통 운영 기능을 플랫폼에 모았다.
“토스” 검색 결과검색 초기화1편
토스 AI Platform 팀이 프로젝트 단위의 모델 사용 신청과 실제 요청 제어를 연결한 구축 사례를 소개했다. 모델 호출과 사내 도구 실행, 누적 예산과 분당 처리 용량을 구분하고, 처리 중인 요청의 토큰을 먼저 예약하는 방식으로 공통 운영 기능을 플랫폼에 모았다.
