토스증권, 검색 품질·벡터 차원·메모리를 연결한 Milvus 서버 산정 기준 공개
토스증권이 1억 건 벡터 검색 실험을 바탕으로 Milvus 서버 규모를 산정하는 기준을 설명했다. recall@10과 질의 벡터 기준 QPS를 함께 비교하고, 검색 설정·차원에 따른 처리량과 데이터 적재에 필요한 메모리를 계산한다. 공개 데이터 측정치를 실제 서비스 조건으로 다시 검증하는 절차도 포함한다.
“Milvus” 검색 결과검색 초기화2편
NUMA 최적화로 벡터 검색 처리량 41% 개선: 토스증권의 Milvus 사이징 분석
토스증권 Data Infra 팀이 온프레미스 Milvus 환경에서 1억 건 벡터 검색의 인덱스를 HNSW_SQ8로 전환하고 쿠버네티스 NUMA 격리 설정을 적용해 검색 처리량을 41% 높였습니다. 이들은 실측 데이터에 기반해 목표 QPS와 메모리 요구량을 동시에 고려하는 인프라 사이징 기준을 도출했습니다.