토스, 모델 신청부터 호출·도구 권한·용량 관리까지 잇는 AI 플랫폼 공개
토스 AI Platform 팀이 프로젝트 단위의 모델 사용 신청과 실제 요청 제어를 연결한 구축 사례를 소개했다. 모델 호출과 사내 도구 실행, 누적 예산과 분당 처리 용량을 구분하고, 처리 중인 요청의 토큰을 먼저 예약하는 방식으로 공통 운영 기능을 플랫폼에 모았다.
토스 AI Platform 팀이 프로젝트 단위의 모델 사용 신청과 실제 요청 제어를 연결한 구축 사례를 소개했다. 모델 호출과 사내 도구 실행, 누적 예산과 분당 처리 용량을 구분하고, 처리 중인 요청의 토큰을 먼저 예약하는 방식으로 공통 운영 기능을 플랫폼에 모았다.
메타가 기업 고객을 겨냥한 전담 조직 '메타 엔터프라이즈 플랫폼'을 신설하고, 전 몽고DB CEO CJ 데사이를 최고 엔터프라이즈 플랫폼 책임자로 영입했다. 뮤즈 에이전트와 비즈니스 에이전트 스택을 통합해 B2B 시장 공략에 나서지만, 구체적인 가격 체계와 정식 출시 일정 등은 아직 공개되지 않았다.