토스증권의 LLM 서빙 사례, 토큰 지표와 개별 로그로 설정 오류를 좁히다
토스증권이 LLM 운영에서 프리픽스 캐시, 출력 제한과 처리 여유를 확인한 사례를 공개했다. 요청 수와 평균 지연만으로는 보이지 않는 문제를 토큰 지표와 개별 로그로 추적하는 방법이다.
“토스” 검색 결과검색 초기화27편
토스 광고 대시보드, 계정 데이터 상한을 확인하고 연산을 워커로 옮기다
토스가 광고 계정의 전체 목록을 브라우저 워커에 두고 필터·정렬·검색을 처리한 경험을 공개했다. 성과 없는 항목과 계층 검증 문제를 함께 해결했지만 초기 로딩과 장애 복구 비용은 남았다.
.png&w=1200&q=75)
토스, MRAID 기반 게임 광고 SDK의 렌더 판정과 하위 호환 계약 공개
토스가 앱 안에서 게임을 체험하는 플레이어블 광고 SDK를 직접 만든 과정을 소개했다. 실제 소재가 쓰는 MRAID API만 구현하고 렌더 상태·외부 코드·브릿지 배포의 경계를 정한 사례다.
