토스증권, 검색 품질·벡터 차원·메모리를 연결한 Milvus 서버 산정 기준 공개
토스증권이 1억 건 벡터 검색 실험을 바탕으로 Milvus 서버 규모를 산정하는 기준을 설명했다. recall@10과 질의 벡터 기준 QPS를 함께 비교하고, 검색 설정·차원에 따른 처리량과 데이터 적재에 필요한 메모리를 계산한다. 공개 데이터 측정치를 실제 서비스 조건으로 다시 검증하는 절차도 포함한다.
“토스” 검색 결과검색 초기화17편
NUMA 최적화로 벡터 검색 처리량 41% 개선: 토스증권의 Milvus 사이징 분석
토스증권 Data Infra 팀이 온프레미스 Milvus 환경에서 1억 건 벡터 검색의 인덱스를 HNSW_SQ8로 전환하고 쿠버네티스 NUMA 격리 설정을 적용해 검색 처리량을 41% 높였습니다. 이들은 실측 데이터에 기반해 목표 QPS와 메모리 요구량을 동시에 고려하는 인프라 사이징 기준을 도출했습니다.
토스 쇼핑, 정수계획법 기반 TopK 최적화로 추천 후보 절반 줄이고 구매 전환율 7.55% 높였다
토스 커머스 개인화 팀이 추천 시스템 내 후보 추출(Retrieval) 단계의 TopK 설정 문제를 배낭 문제 형태의 정수계획법으로 풀어냈습니다. 후보군 규모를 기존 대비 약 절반으로 축소했음에도 구매 전환율과 인당 주문 수를 각각 7.55%, 10.13% 끌어올렸으며, 노출 다양성 문제를 보완하기 위해 덤벨 가중 샘플링을 결합했습니다.
토스의 모바일 QA 자동화 실험, '토스닥터 V2'가 설계한 자가 치유와 통제의 경계
토스 QA Platform 팀이 주간 배포 파이프라인의 스모크 테스트 유지보수 비용을 낮추기 위해 '토스닥터 V2'를 공개했습니다. 한국어 BDD 시나리오를 바탕으로 LLM과 Appium MCP를 연동해 코드를 자동 생성하고, 테스트 실행 중 장애를 실시간으로 치유하며 실패 원인을 스스로 수정하는 구조를 구축했습니다. 다만 완전 자동화의 위험을 방지하기 위해 검증 단계의 유사 매칭을 제한하고 수동 개입 기준을 명확히 분리했습니다.
리더보드 순위의 한계와 실무 최적화: 토스의 LLM 자체 평가 체계 'Toss Benchmark'
비바리퍼블리카(토스)가 공개 글로벌 리더보드 점수와 현업 환경 간의 괴리를 해소하기 위해 자체 LLM 평가 체계 'Toss Benchmark'를 구축했습니다. 평가 언어와 추론(Reasoning) 설정에 따른 극심한 순위 역전을 검증하고, 지시 준수 및 도메인 지식 지표를 바탕으로 사내 모델 서빙 기준을 정립했습니다.
쿠버네티스 GPU 인식을 넘어 운영 신뢰성으로: 토스증권의 클러스터 고도화와 업스트림 기여
토스증권이 쿠버네티스 기반 GPU 클러스터 운영 문제를 해결하기 위해 하드웨어 헬스체크와 5단계 사전 검증 게이트를 구축하고, MIG 자원 파편화를 해결하는 Packed Allocation 정책을 구현해 엔비디아 공식 디바이스 플러그인에 병합시켰습니다.
토스뱅크의 App Router 도입 철회: 기술 표준과 운영 현실의 간극
토스뱅크가 Next.js Pages Router의 유지보수 모드 전환에 대응해 App Router와 서버 컴포넌트(RSC) 도입을 검증했으나, 웹뷰 렌더링 지연과 점진적 마이그레이션 결함, 관측성 부재 등의 비용이 이득을 초과한다고 판단해 기존 체제를 유지하기로 결정했습니다.
토스뱅크 Stylepack 사례…코딩 에이전트의 팀 규칙을 작성 직후 되짚는다
토스뱅크가 코딩 에이전트에 팀 규칙을 필요한 순간에 전달하는 Stylepack을 소개했다. 파일 작성 직후와 작업 종료 직전에 다른 범위로 피드백하고 적용 기록으로 규칙을 개선한다. 지시 문서의 양을 늘리는 대신 전달 시점과 적용 범위를 설계한 사례다.
토스 토독 사례…문서를 쉽게 쓰는 도구에서 유효한 지식을 유지하는 시스템으로
토스가 토독의 설계와 테크니컬 라이터의 제품 개발 역할을 영문 연재로 소개했다. 작성 장벽, 자료 분산과 문서의 낡은 정보를 해결하려는 사내 플랫폼 사례다. AI 연결과 자동 초안 제공의 현재 설명을 문서의 지속적 갱신이라는 개발 목표와 구분해 살펴본다.
토스 테크니컬 라이터의 역할 확장…문서 작성에서 조직 지식 시스템 설계로
토스가 테크니컬 라이터의 업무를 조직 지식 시스템 설계로 넓힌 경험을 영문 연재 첫 편에 소개했다. 문서 전달 챗봇, 사내 플랫폼 개발과 조직별 문서화·자동화·문화 활동을 함께 다룬다. 코드의 결과와 결정의 맥락을 연결하는 일이 AI 시대의 역할에 주는 의미를 분석한다.
토스 박씨와 실록봇 사례…업무 질문의 답과 대화 기록을 문서로 연결한다
토스 프론트엔드 챕터가 문서 기반 답변 챗봇 박씨와 대화를 문서 PR로 바꾸는 실록봇을 소개했다. 문서를 탐색하는 경로를 늘리기보다 업무 도구에서 질문하고 지식을 남기는 흐름이다. 검색 증강 생성의 자료 품질과 대화의 검토 경계를 함께 살펴본다.
토스 TOI의 브라우저 실행 구조…AI 코드의 미리보기를 47초에서 1.3초로
토스가 사내 어드민 제작 플랫폼 TOI의 Preview Runtime 설계를 공개했다. 코드 생성과 정책 적용을 나누고 브라우저 빌드, 패키지 사전 준비와 화면 교체를 결합했다. 회사가 설명한 미리보기 시간 개선의 원인과 실행 환경 설계의 조건을 살펴본다.
토스 핫픽스 판단의 기준…버그를 겪은 1%의 의미부터 확인한다
토스 QA Platform 팀이 긴급 수정의 실행 여부를 결정하고 재발 방지를 추적하는 과정을 공개했다. 같은1%라도 배포 범위와 발생 조건에 따라 해석이 다르다. 양쪽 담당자의 합의, 크래시 재현 지원과 실행하지 않은 판단까지 남기는 기록 구조를 살펴본다.
토스증권, 추천·검색을 연결하는 데이터 기반과 그래프 탐색의 절충 공개
토스증권이 실시간 추천, 뉴스 검색과 그래프 검색을 운영하는 방식을 설명했다. 모델 성능뿐 아니라 벡터 버전, 후보 제한과 검색 근거를 함께 관리하는 접근이 핵심이다.
토스증권의 LLM 서빙 사례, 토큰 지표와 개별 로그로 설정 오류를 좁히다
토스증권이 LLM 운영에서 프리픽스 캐시, 출력 제한과 처리 여유를 확인한 사례를 공개했다. 요청 수와 평균 지연만으로는 보이지 않는 문제를 토큰 지표와 개별 로그로 추적하는 방법이다.
토스 광고 대시보드, 계정 데이터 상한을 확인하고 연산을 워커로 옮기다
토스가 광고 계정의 전체 목록을 브라우저 워커에 두고 필터·정렬·검색을 처리한 경험을 공개했다. 성과 없는 항목과 계층 검증 문제를 함께 해결했지만 초기 로딩과 장애 복구 비용은 남았다.
.png&w=1200&q=75)
토스, MRAID 기반 게임 광고 SDK의 렌더 판정과 하위 호환 계약 공개
토스가 앱 안에서 게임을 체험하는 플레이어블 광고 SDK를 직접 만든 과정을 소개했다. 실제 소재가 쓰는 MRAID API만 구현하고 렌더 상태·외부 코드·브릿지 배포의 경계를 정한 사례다.
