토스증권, 검색 품질·벡터 차원·메모리를 연결한 Milvus 서버 산정 기준 공개
토스증권이 1억 건 벡터 검색 실험을 바탕으로 Milvus 서버 규모를 산정하는 기준을 설명했다. recall@10과 질의 벡터 기준 QPS를 함께 비교하고, 검색 설정·차원에 따른 처리량과 데이터 적재에 필요한 메모리를 계산한다. 공개 데이터 측정치를 실제 서비스 조건으로 다시 검증하는 절차도 포함한다.
“토스증권” 검색 결과검색 초기화5편
NUMA 최적화로 벡터 검색 처리량 41% 개선: 토스증권의 Milvus 사이징 분석
토스증권 Data Infra 팀이 온프레미스 Milvus 환경에서 1억 건 벡터 검색의 인덱스를 HNSW_SQ8로 전환하고 쿠버네티스 NUMA 격리 설정을 적용해 검색 처리량을 41% 높였습니다. 이들은 실측 데이터에 기반해 목표 QPS와 메모리 요구량을 동시에 고려하는 인프라 사이징 기준을 도출했습니다.
쿠버네티스 GPU 인식을 넘어 운영 신뢰성으로: 토스증권의 클러스터 고도화와 업스트림 기여
토스증권이 쿠버네티스 기반 GPU 클러스터 운영 문제를 해결하기 위해 하드웨어 헬스체크와 5단계 사전 검증 게이트를 구축하고, MIG 자원 파편화를 해결하는 Packed Allocation 정책을 구현해 엔비디아 공식 디바이스 플러그인에 병합시켰습니다.
토스증권, 추천·검색을 연결하는 데이터 기반과 그래프 탐색의 절충 공개
토스증권이 실시간 추천, 뉴스 검색과 그래프 검색을 운영하는 방식을 설명했다. 모델 성능뿐 아니라 벡터 버전, 후보 제한과 검색 근거를 함께 관리하는 접근이 핵심이다.
토스증권의 LLM 서빙 사례, 토큰 지표와 개별 로그로 설정 오류를 좁히다
토스증권이 LLM 운영에서 프리픽스 캐시, 출력 제한과 처리 여유를 확인한 사례를 공개했다. 요청 수와 평균 지연만으로는 보이지 않는 문제를 토큰 지표와 개별 로그로 추적하는 방법이다.
