승인된 조건을 실제 호출에 연결
토스는 10월 13일 GenAI Portal과 GenAI Gateway, MCP Gateway로 구성한 사내 AI 플랫폼을 소개했다. Portal은 모델 신청과 프로젝트 설정을 관리하고, GenAI Gateway는 요청 시 프로젝트 활성 상태·모델 권한·사용 한도 등을 확인한다. 여러 API 키가 있어도 같은 프로젝트의 권한과 예산, 사용량을 함께 관리하는 구조다. 공개 벤치마크 점수와 사내 환경의 응답 지연은 따로 보여 준다고 팀은 설명했다. 이는 특정 모델을 쓰면 모든 서비스의 품질이 좋아진다는 검증 결과가 아니라, 서비스마다 승인한 조건을 호출 단계에서 실행하기 위한 공통 운영 기반에 관한 사례다.
모델과 도구, 데이터 접근의 세 경계
모델 호출 권한과 사내 도구 실행 권한은 별도다. 토스의 MCP Gateway는 프로젝트·서버·RPC 메서드·도구 이름을 확인하며, 실제 데이터의 접근 권한은 연결된 서비스가 다시 판단한다고 설명한다. 검색 도구를 쓸 수 있어도 모든 문서의 열람 권한이 생기는 것은 아니다. MCP의 공식 인가 명세 역시 서버가 자기 용도로 발급된 토큰인지 검증하고, 다른 서비스용 토큰을 그대로 통과시키지 않도록 요구한다. 이 명세는 토스 구현 전체가 특정 OAuth 흐름을 따른다는 증거는 아니지만, 하나의 게이트웨이 통과를 이후 모든 접근의 허가로 확대하면 안 된다는 경계를 이해하는 데 도움이 된다.
예산과 처리 중 토큰을 따로 계산
플랫폼은 누적 비용 예산과 분당 토큰 수 같은 처리 한도를 구분한다. 최종 토큰 사용량을 응답이 끝난 뒤 알 수 있기 때문에, 진행 중 요청도 입력과 예상 출력만큼 먼저 예약한 뒤 실제 값으로 보정한다는 설명이다. 캐시 응답처럼 모델을 부르지 않은 경우에는 예약분을 빼며, 늦게 완료돼도 최초 예약 시점의 값을 수정한다. 이 집계는 요금 청구와 별개다. 월 예산이 남았다는 사실은 순간적인 처리 용량이 남았다는 뜻이 아니므로, 비용 알림과 호출 허용 판단을 같은 지표 하나로 대체할 수 없는 구조다.
본문 보호와 추적 가능성의 조합
ARCH.B는 관찰 데이터를 남기는 경로를 호출 경로와 별도로 설계한 점에 주목한다. 토스는 일반 운영 로그에서 탐지된 개인정보를 마스킹하거나 본문을 기록하지 않으면서 상태·지연·실패 단계와 추적 식별자를 남긴다고 밝혔다. 다만 각 서비스 내부 단계의 계측과 Langfuse의 데이터 범위·접근 권한은 별도 관리 대상이다. Langfuse 공식 문서도 민감정보를 애플리케이션 밖으로 내보내면 안 되는 경우에는 내보내기 전에 처리해야 하며, Collector에서 마스킹하면 데이터는 이미 애플리케이션을 떠났다는 차이를 설명한다. 따라서 마스킹 기능이 있다는 사실보다 어느 경계 이전에 무엇을 가리는지가 중요하다. 같은 추적 ID로 실패 호출을 찾는 방식도 본문 전체를 보관하는 것과 구별할 수 있다.
호출 경로 변경과 모델 변경의 책임
토스는 확보한 약정 처리 용량을 우선 쓰고, 부족하면 같은 모델의 종량제 경로를 사용하며 복구 뒤 원래 용량으로 돌아가는 운영을 설명했다. 모델 자체의 교체는 응답 품질에 영향을 줄 수 있어 서비스 담당자의 별도 평가가 필요하다고 구분한다. ARCH.B는 이 구분이 서비스의 기대 동작을 유지하는 데 유용하다고 본다. 요청 경로의 장애 대응과 결과를 만드는 모델의 선택을 나누면, 실패율이 낮아졌는지와 답변이 좋아졌는지를 다른 기준으로 조사할 수 있다. 예를 들어 종량제 경로로 넘긴 요청이 성공했더라도, 원래 확보한 용량이 복구됐는지 확인하지 않으면 비용과 사용 계획은 어긋날 수 있다. 반대로 원래 배포에 실패 요청을 계속 보내면 이용자가 기다리는 시간이 늘어난다. 경로별 성공과 복구 상태를 함께 보려는 이유다. 또한 내부 데이터 등급과 SLA 분류는 토스의 운영 기준이므로 모든 금융 서비스에 통용되는 승인 규정이나 보안 보장으로 일반화할 수 없다. 플랫폼이 공통 제어를 맡아도 도구가 읽는 데이터의 권한과 서비스 결과의 적합성을 판단할 책임은 각 경계에 남는다.
출처
토스테크의 원출처와 본문에 표시한 참고자료를 바탕으로 한국어로 재구성했습니다. ‘ARCH.B 분석’은 자료를 읽고 덧붙인 편집 해석입니다.
서비스 개발에 집중할 수 있는 AI 플랫폼 만들기 (새 창)
